데이터 중심 컴퓨팅 및 AI 시스템 연구실(DISCOS)의 김준원(학석사연계·제1저자), 유정현(박사과정), Farid Talibli(석박사통합과정), 소정민 교수, 김영재 교수(교신저자)가 작성한 “SurrogateKV: Representation-Preserving KV Cache Compression for Long-Context LLMs” 논문이 Findings of the Association for Computational Linguistics (EMNLP) 2026 [Overall Acceptance Rate: 5,252/17,669 = 29.7% (Main 15.4% + Findings 14.3%)]에 채택되었습니다.

 

김준원 (컴퓨터공학과 21, 지도교수: 김영재 교수)

긴 문맥을 처리하는 대규모 언어모델(LLM)은 입력 토큰의 key와 value 상태를 KV 캐시에 저장하고 이후 생성 과정에서 반복적으로 참조한다. KV 캐시는 문맥 길이에 따라 증가해 GPU 메모리와 prefill-decode 간 전송 비용을 높인다. 기존 token-eviction 방식은 중요한 KV만 유지하고 나머지를 제거한다. 이를 보완하기 위해 최근에는 유사한 KV 상태를 묶거나, 제거 대상 KV의 정보를 유지된 KV나 특정 기준점(pivot)에 병합하는 representation-preserving 방식도 제안돼 왔다.

“연구팀은 제거 대상이 된 연속 문맥 구간에서 무작위로 선택된 토큰 집합보다 높은 key·value coherence가 관찰되고, KV 제거 시 중요한 문맥 구간에 할당되는 attention mass가 달라진다는 분석을 바탕으로 SurrogateKV를 제안했다. SurrogateKV는 유사도 기반 grouping이나 특정 pivot을 중심으로 KV를 병합하는 대신, 최근 토큰의 attention을 이용해 문맥 중요도를 평가하고 연속된 영역의 표현 방식을 결정한다. 고정된 예산 안에서 중요도가 높은 영역은 원본 KV인 RAW로 유지하고, 일부 낮은 중요도의 연속 영역은 하나의 독립적으로 참조 가능한 SURROGATE KV로 압축하며, 나머지는 DROP한다. 생성된 surrogate KV 역시 일반적인 KV 쌍으로 구성되어 별도의 학습이나 attention 연산자 변경 없이 표준 attention으로 사용할 수 있으며, SnapKV, DynamicKV, Ada-KV 등 기존 KV 압축 기법과도 결합할 수 있다.

그림 1. SurrogateKV는 prefill 이후 주어진 캐시 예산 안에서 문맥 영역을 RAW, SURROGATE 또는 DROP으로 할당하고, 구성된 KV 캐시를 표준 attention으로 decode한다.

LongBench에서 Ada-KV와 결합한 SurrogateKV-Ada는 512 slots/layer 예산에서 Ada-KV의 40.77점보다 높은 41.26점을 기록했으며, FullKV 대비 평균 10.5%의 prefill KV 캐시만 사용하면서 성능의 98.4%를 유지했다. 또한 CaM과 D2O 등 representation-preserving 계열과의 비교에서 SurrogateKV-Snap은 대응하는 128/512 수준의 캐시 설정에서 각각 37.99/40.88점을 기록해, 가장 높은 성능의 비교 기법보다 각각 3.20점, 1.38점 높은 LongBench 성능을 보였다. NIAH에서도 SnapKV의 평균 검색 정확도를 87.51점에서 98.84점으로 향상시켰다.

그림 2. 동일한 KV 슬롯 예산에서 기존 압축 기법과 SurrogateKV 적용 결과를 비교한 NIAH 검색 정확도 실험.

이번 연구는 KV 캐시 압축을 단순히 ‘어떤 토큰을 남길 것인가’가 아니라, ‘제한된 캐시 공간에서 문맥을 어떤 형태로 표현할 것인가’의 문제로 확장했다는 데 의미가 있다. 이를 통해 기존 압축 기법과 동일한 캐시 예산에서도 삭제되던 문맥의 일부 정보를 압축된 형태로 보존해 장문맥 이해와 검색 성능을 향상시킬 수 있음을 보여줬다.

본 논문의 제1저자인 김준원은 “기존 token-eviction방식이 어떤 KV를 남길 것인지에 집중했다면, 본 연구에서는 삭제될 문맥 구간을 어떤 형태로 남길 것인지까지 고려하고자 했습니다. 실험을 통해 동일한 캐시 예산에서도 일부 문맥을 작은 surrogate KV로 보존하는 것이 장문맥 성능을 개선할 수 있음을 확인했습니다. 이후 이러한 효율적인 문맥·상태 표현 연구를 Agentic AI와 VLA 등 장기적인 문맥과 상태 관리가 중요한 영역으로도 확장해보고 싶습니다. 공동연구자인 유정현 박사과정, Farid Talibli 석박사통합과정, 소정민 교수님과 연구를 지도해주신 김영재 교수님께 감사드립니다.” 라고 소감을 밝혔다.

Conference on Empirical Methods in Natural Language Processing  (EMNLP)는 계산언어학과 자연어처리 분야를 대표하는 국제학술대회로, 국제전산언어학협회(ACL) 산하 SIGDAT가 주관한다. 한국정보과학회 소프트웨어 분야 우수학술대회 목록에서는 최우수 학술대회로 분류되며, 한국연구재단 BK21 Computer Science 분야 우수국제학술대회 목록에는 인정 IF=3으로 등재돼 있다. EMNLP 2026은 올해 10월 24일부터 29일까지 헝가리 부다페스트에서 개최될 예정이다.

참고자료:

The 2026 Conference on Empirical Methods in Natural Language Processing (EMNLP 2026)
Website: https://2026.emnlp.org/
Code and data: https://github.com/kimjunewon/SurrogateKV