IEEE International Conference on Cloud Computing (CLOUD) 2025 국제 학술대회 논문 채택

김기현 석박통합과정 (지도교수/김영재 교수)

데이터 중심 컴퓨팅 및 AI 시스템 연구실 (DISCOS) 석박통합과정 김기현 (제1저자/지도교수 김영재 교수), 김진우 (석박통합), 정현선 (석사과정), 김영재 교수 (교신저자)가 작성한 “Cost-Efficient VM Selection for Cloud-Based LLM Inference with KV Cache Offloading" 논문이 The IEEE International Conference on Cloud Computing(CLOUD 2025) 에 게재가 확정되었습니다.

최근 대규모 언어 모델(LLM)은 다양한 분야에서 핵심 기술로 빠르게 자리매김하고 있으나, 클라우드 환경에서 LLM 추론 서비스를 운영하는 데 필요한 높은 GPU 가상머신(VM) 비용은 기술 상용화의 주요 걸림돌로 지적되어 왔습니다. 특히, LLM 추론 과정에서 대량으로 생성되는 KV 캐시 데이터는 GPU 메모리 부족 문제를 빈번히 야기하며, 이를 관리하기 위한 CPU 메모리로의 KV 캐시 오프로딩 전략은 시스템의 성능과 비용 사이에서 복잡한 줄다리기를 필요로 합니다.

그림 1. KV cache offloading 개념도: LLM 추론 시 GPU 메모리를 많이 차지하는 KV cache의 일부를 CPU 메모리 로 옮겨(offloading), GPU 메모리 부담을 줄이는 핵심 기술임. 이를 통해 한정된 GPU 메모리에서도 더 긴 문맥을 처리하거나 더 큰 배치 크기의 작업 수행을 가능하게 함.

본 연구팀이 제안하는 INFERSAVE 프레임워크는 이러한 클라우드 LLM 운영의 현실적인 문제점들을 해결하기 위해 개발되었습니다. INFERSAVE는 사용자가 설정한 서비스 수준 목표(SLO)와 처리할 작업의 고유한 특성, 그리고 예산 제약 조건까지 종합적으로 분석하고, 이를 바탕으로 KV 캐시 오프로딩 전략을 최적으로 결정하고, 가장 비용 효율적인 클라우드 VM 인스턴스를 자동으로 추천해줍니다. 

AWS에서 실험 결과, INFERSAVE를 적용했을 때 온라인 추론 작업에서는 KV 캐시 오프로딩 없이도 적합한 저비용 VM을 효과적으로 선택하여 최대 73.7%까지 비용 효율성이 향상되었으며, 오프라인 추론 작업에서는 KV 캐시 오프로딩을 통해 최대 20.19%의 운영 비용 절감 효과를 확인했습니다. 이러한 결과는 INFERSAVE가 클라우드 사용자들이 LLM 서비스를 보다 경제적으로 운영하면서도 원하는 성능을 안정적으로 달성할 수 있도록 지원하는 실질적인 해결책임을 명확히 시사합니다.

본 논문의 제1저자인 김기현 석박통합과정은 " 클라우드 환경에서 LLM을 운영하는 데 드는 높은 비용은 많은 분들에게 큰 고민거리입니다. 저희가 개발한 INFERSAVE는 바로 이 문제를 해결하기 위해, 사용자의 다양한 서비스 목표(SLO), 예산, 그리고 처리하려는 작업의 특징 같은 각기 다른 '니즈'를 정밀하게 분석합니다. 이를 바탕으로 INFERSAVE는 각 사용자에게 꼭 필요한 최적의 맞춤형 VM 인스턴스를 추천하여, 불필요한 비용 지출 없이 LLM의 강력한 성능을 활용할 수 있도록 돕습니다. AI 모델 자체의 발전도 매우 중요하지만, 저는 이러한 모델들이 실제 환경에서 효율적으로, 그리고 경제적으로 서비스될 수 있도록 뒷받침하는 시스템 최적화 연구가 AI 시대의 핵심 기술 중 하나라고 확신합니다. 이처럼 중요하고 흥미로운 시스템 연구 분야에 우리 학부생 여러분의 많은 관심과 도전을 기다립니다” 라고 소감을 전했습니다.

IEEE CLOUD는 클라우드 인프라, 기술, 애플리케이션 및 비즈니스 관련 최신 기술과 실제 적용 사례에 대한 근본적인 발전을 교류하고, 새로운 연구 주제를 발굴하며, 클라우드 컴퓨팅의 미래를 정의하는 것을 목표하는 학회로 올해 행사는 7월 7일부터 12일까지 핀란드 헬싱키에서 개최될 예정이다.

참고 자료:

●   The IEEE International Conference on Cloud Computing CLOUD 2025

●   Website :     https://services.conferences.computer.org/2025/cloud/