데이터 중심 AI 컴퓨팅 및 시스템 연구실(DISCOS)의 이동재 석사(공동 1저자), 박사과정 박규리 (공동 1저자),  정연우 박사, 변홍수 박사(교신저자), 박성용 교수(교신저자)가 작성한 “DITTO: Online Memory Rightsizing and Value-Aware Eviction for Reducing Cold Starts in Serverless Platforms” 논문이 IEEE International Conference on Cloud Computing (IEEE CLOUD) 2026에 게재가 확정되었다.

서버리스 컴퓨팅은 사용자가 서버를 직접 관리하지 않고 함수 단위의 프로그램을 배포하면, 플랫폼이 요청에 따라 컨테이너를 생성하고 실행하는 클라우드 네이티브 실행 모델이다. 그러나 요청이 도착했을 때 재사용 가능한 warm container가 없으면 새로운 컨테이너를 생성하고 초기화해야 하며, 이 과정에서 cold start로 인한 큰 지연시간이 발생한다.

본 연구는 서버리스 플랫폼에서 cold start가 증가하는 주요 원인으로 memory over-provisioning과 기존 eviction 정책의 한계를 분석하였다. 사용자는 OOM을 피하기 위해 실제 사용량보다 큰 memory limit을 설정하는 경우가 많지만, 이러한 정적 memory limit은 실제 사용량과 무관하게 warm pool의 메모리 예산을 차지한다. 그 결과 유지할 수 있는 warm container 수가 줄어들고, pool 포화로 인해 eviction과 cold start가 빈번하게 발생한다. 또한 기존 LRU 기반 eviction 정책은 함수마다 다른 cold-start penalty를 고려하지 못해, warm reuse 효과가 큰 컨테이너가 먼저 제거되는 비효율을 초래할 수 있다.

이를 해결하기 위해 본 연구는 DITTO를 제안한다. DITTO는 online memory rightsizing과 value-aware container management를 결합하여, 제한된 메모리 예산 안에서 더 많은 고가치 warm container를 유지하는 시스템이다. DITTO는 컨테이너의 실제 메모리 사용량에 맞춰 memory limit을 동적으로 조정하고, cold-start sensitivity와 memory footprint를 함께 고려하여 어떤 컨테이너를 유지하거나 제거할지 결정한다.

[그림1 : DITTO아키텍처 오버뷰]

 

DITTO는 Invoking Manager, Rightsizing Agent, Container Pool로 구성된다. Rightsizing Agent는 Linux cgroup v2의 memory.high와 memory pressure signal을 활용하여 컨테이너의 memory limit을 점진적으로 줄이고, throttling이 감지되면 즉시 upsizing을 수행하여 OOM이나 성능 저하를 방지한다. 또한 DITTO Score를 통해 단위 메모리당 latency reduction 효과가 큰 컨테이너를 우선적으로 보존함으로써, warm pool의 메모리 효율성과 cold-start 감소 효과를 동시에 높인다.

대표적인 실험 결과로 DITTO는 Apache OpenWhisk에 구현되어 다양한 서버리스 워크로드에서 평가되었다. DITTO는 vanilla OpenWhisk 대비 cold-start rate를 최대 25.7% 감소시키고, end-to-end latency를 최대 33.3% 개선하였다. 또한 기존 cold-start 최적화 연구인 RainbowCake와 비교해서도 cold-start rate를 최대 14.8%, latency를 최대 19.4% 추가로 줄였다.

논문의 공동 제1저자인 이동재 석사는 “서버리스 플랫폼의 cold start는 단순히 컨테이너 초기화 비용만의 문제가 아니라, 제한된 메모리 안에서 어떤 컨테이너를 얼마나 효율적으로 유지할 것인지와 밀접하게 연결되어 있습니다. 서버리스 시스템의 성능 개선에 중요함을 보일 수 있어 뜻깊게 생각합니다.”라고 소감을 전했다.

IEEE International Conference on Cloud Computing(IEEE CLOUD)은 IEEE World Congress on SERVICES의 주요 학회 중 하나로, 클라우드 컴퓨팅, 서버리스 컴퓨팅, 분산 시스템 및 클라우드 인프라 분야의 최신 연구 성과를 공유하는 국제 학술대회이다. 본 논문은 2026년 7월 13일부터 18일까지 호주 시드니에서 개최되는 2026 IEEE World Congress on SERVICES(SERVICES 2026)에서 발표될 예정이다.