지난 2026년 6월 24일부터 3일간 열린 2026 한국소프트웨어종합학술대회(KCC2026)에서 컴퓨터공학과 김준원 학생(컴퓨터공학과 21, 지도교수: 김영재 교수)의 「SurrogateKV: 어텐션 안정화 기반 의미보존 KV 캐시 압축」 논문이 컴퓨터시스템 부문 최우수논문상을 수상하였다.

대규모 언어 모델(LLM)의 장문 추론 환경에서는 이전 토큰의 Key와 Value 텐서를 저장하는 KV 캐시가 GPU 메모리 사용량, 워커 간 전송량, 그리고 첫 토큰 생성 지연 시간(TTFT)을 좌우하는 주요 병목으로 작용한다. 기존 KV 캐시 압축 연구는 중요도가 낮은 청크를 제거해 캐시 크기를 줄이는 방식이 주로 사용되었으나, 제거된 구간이 이후 디코딩 단계의 어텐션 대상에서 완전히 제외되면서 어텐션 분포가 왜곡되고 문맥 정보 손실이 발생할 수 있다는 한계가 있었다.

본 연구에서는 이러한 한계를 완화하기 위해 중요도가 낮은 KV 청크를 완전히 삭제하지 않고, 어텐션이 참조할 수 있는 하나의 Surrogate KV 토큰으로 대체하는 새로운 KV 캐시 압축 기법인 SurrogateKV를 제안하였다. 이를 통해 장문 문맥에서 필요한 정보는 유지하면서도 캐시 크기와 전송 비용을 줄일 수 있도록 하였으며, 기존 제거 기반 방식에서 발생할 수 있는 문맥 정보 손실 문제를 완화하였다. 장문 질의응답, 장문 요약, 검색 기반 벤치마크 실험에서 제안 기법은 기존 pruning 방법보다 안정적인 성능을 보였고, KV 캐시를 25%만 남기는 조건에서 PyramidKV 대비 9.73점 높은 점수를 달성하였다. 또한 원본 KV 캐시를 모두 사용하는 FullKV 대비 TTFT 증가폭을 최대 22.9ms로 제한하여, 장문 LLM 서빙의 효율성과 안정성을 함께 개선할 수 있음을 입증하였다.