IEEE International Conference on Cloud Computing (CLOUD) 2025
국제 학술대회 논문 채택

이형우 석사과정 (지도교수/김영재 교수)

데이터 중심 컴퓨팅 및 AI 시스템 연구실 (DISCOS) 석사과정 이형우 (제1저자/지도교수 김영재 교수), 김기현 (석박통합), 김진우 (석박통합), 소정민 교수, 김영재 교수 (교신저자)가 작성한 "Disk-Based Shared KV Cache Management for Fast Inference in Multi-Instance LLM RAG Systems" 논문이 The IEEE International Conference on Cloud Computing(CLOUD 2025) 에 게재가 확정되었습니다.

최근 GPT와 같은 대규모 언어 모델(LLM)은 우리 생활 깊숙이 들어와 다양한 가능성을 보여주고 있습니다. 특히, LLM이 외부의 방대한 지식까지 활용해 더욱 정확하고 풍부한 답변을 생성하도록 돕는 검색 증강 생성(RAG) 기술은 그 중요성이 날로 커지고 있습니다. 하지만 RAG 기술을 사용하면 LLM이 처리해야 할 데이터의 양이 폭발적으로 증가하여, 사용자가 첫 답변을 받기까지 걸리는 시간이 길어지고 전체적인 시스템 처리 속도가 느려지는 문제가 발생합니다. 이는 특히 LLM이 입력된 정보를 처음 처리하는 '프리필(Prefill)' 단계에서 계산량이 급증하기 때문입니다.

오늘날 AI 기술은 단순한 정보 검색을 넘어, 복잡한 문제 해결과 창의적인 작업 수행까지 그 영역을 넓혀가고 있습니다. 이러한 AI의 발전을 뒷받침하기 위해서는 LLM과 같은 핵심 모델들이 방대한 데이터를 빠르고 효율적으로 처리할 수 있도록 만드는 시스템 최적화 연구가 필수적입니다. 

본 연구에서는 AI 시스템이 최적의 성능을 낼 수 있도록 데이터 처리 파이프라인을 개선하여 LLM의 응답시간을 단축하고, 처리량을 늘리는 것을 목표로 하고 있는 디스크 기반 공유 Key-Value(KV) 캐시 관리 시스템인 Shared RAG-DCache를 제안합니다. Shared RAG-DCache 시스템을 통해, LLM 추론 과정에서 가장 많은 시간이 소요되는 프리필 단계의 계산 처리시간을 줄일 수 있습니다.

아래 그림은 Shared RAG-DCache 시스템의 아키텍쳐를 보여 줍니다.

2개의 GPU와 1개의 CPU를 갖춘 RAG기반의 다중 LLM 서비스 환경에서 Shared RAG-DCache 시스템을 적용했을 때, LLM의 처리량(초당 처리 가능한 요청 수)은 해당 시스템을 사용하지 않았을 때 대비 최대 71%까지 증가했으며, 평균 응답 지연 시간은 최대 65%까지 감소하는 결과를 얻었습니다. 이는 곧 많은 사용자들이 동시에 LLM 서비스를 더욱 빠르고 쾌적하게 이용할 수 있게 되었음을 의미합니다.

* w/ KVGen : Shared RAG-DCache를 사용한 경우(파란색) 향상된 처리량과 응답 속도를 나타냅니다.

본 논문의 제1저자인 이형우 석사과정은 "GPT와 같은 LLM이 점점 더 똑똑해지고 있지만, 한편으로는 더 많은 정보를 빠르게 처리해야 하는 기술적 과제에 직면하고 있습니다. 저희 연구실에서는 이러한 부분을 해결하기 위해 교수님의 지도하에 LLM 시스템 연구팀을 구성하여 AI 시스템의 성능을 최적화하고자 노력하고 있습니다. 이번 연구로  RAG기반의 다중 LLM 서비스 환경에서 사용자 요청 처리 효율을 높일 수 있는 아이디어를 구체화하고, 효과 입증을 통해 좋은 결과를 얻을 수 있어서 매우 기쁩니다. AI가 세상을 바꾸는 시대에, 그 기반이 되는 시스템 기술 연구는 앞으로 더욱 중요해질 것이라고 생각하며, 많은 학부생 여러분들이 이 흥미로운 분야에 관심을 가져주시면 좋겠습니다."라고 소감을 전했습니다.

IEEE CLOUD는 클라우드 인프라, 기술, 애플리케이션 및 비즈니스 관련 최신 기술과 실제 적용 사례에 대한 근본적인 발전을 교류하고, 새로운 연구 주제를 발굴하며, 클라우드 컴퓨팅의 미래를 정의하는 것을 목표로하는 학회로 올해 행사는 7월 7일부터 12일까지 핀란드 헬싱키에서 개최될 예정이다.

참고 자료:

●     The IEEE International Conference on Cloud Computing CLOUD 2025

●     Website :     https://services.conferences.computer.org/2025/cloud/