우수국제학술대회 International Symposium on the Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS) 정규 발표 논문 채택

김기현 석박통합과정 (지도교수/김영재 교수)

데이터 중심 컴퓨팅 및 AI 시스템 연구실 (DISCOS) 김기현 (석박통합/제1저자), 김진우 (석박통합), Dong Li 교수 (UC Merced), 김영재 교수 (교신저자)가 작성한 “FLEXLLM: Flexible and Cost-Efficient LLM Serving with Heterogeneous GPUs" 논문이 국제 우수 학술대회 International Symposium on the Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS)에 게재가 확정되었습니다.

최근 대규모 언어 모델(LLM)은 다양한 분야에서 핵심 기술로 빠르게 자리매김했지만, 실제 추론 환경에서 성능과 효율을 좌우하는 본질적 질문은 어떤 아키텍처를 선택할 것 인가입니다. LLM 추론 과정에서 대량으로 축적되는 KV 캐시는 GPU 메모리를 빠르게 소모해 배치 크기와 문맥 길이를 제약하며, 이를 완화하려는 단순 자원 증설은 비용 대비 효과가 제한적입니다. 동일한 하드웨어 구성이라도 아키텍처 선택에 따라 성능이 크게 달라집니다. 따라서 주어진 SLO(서비스 수준 목표)와 작업 특성에 맞는 최적 아키텍처를 체계적으로 선택하는 문제가 핵심으로 부상하고 있습니다.

위 그림은 세 가지 병렬화 전략(MP, AO, DP)의 구조와 비용 효율성을 비교한다. 왼쪽은 모델 병렬화(MP), 어텐션 오프로딩(AO), 데이터 병렬화(DP)의 구조를 나타낸다. MP는 레이어를 여러 GPU에 분산하고, AO는 주요 연산을 메인 GPU에서 수행하되 어텐션 연산과 KV 캐시 저장은 보조 GPU로 오프로딩한다. DP는 동일한 모델을 복제하고 입력 배치를 나누어 처리한다. 오른쪽 히트맵에서 굵은 테두리는 각 GPU 구성별 최적 전략을 나타내며, 동일 조건에서도 전략 선택에 따라 성능 차이가 뚜렷함을 보여준다. 특히 AO 전략의 KV 캐시 오프로딩은 GPU 메모리 부담을 줄여 긴 문맥 또는 큰 배치 처리를 가능하게 한다.

 

본 연구팀이 개발한 FLEXLLM은 사용자가 설정한 SLO(서비스 수준 목표), 작업 특성(입·출력 길이, 배치 크기), 이기종 GPU 조합을 통합 분석해 MP·AO·DP 중 최적 아키텍처를 자동으로 선택한다. 각 전략의 실행 시간은 경량 예측 모델로 빠르게 추정하고, 소량의 실측치로 선형 보정하여 실제 성능과 정합시킨다. 이후 SLO를 만족하는 후보 중 비용 효율성(token/$)을 기준으로 최종 구성을 결정한다.

실험 결과, 동일한 하드웨어에서도 아키텍처 선택만으로 비용 효율(token/$)이 최대 2.28배 향상되는 것으로 확인됐다. 이는 고가의 하드웨어 증설보다 문제와 목표에 맞는 아키텍처를 정밀하게 선택하는 것이 실제 서비스 효율을 좌우한다는 점을 분명히 보여준다.

본 논문의 제1저자인 김기현 석박통합과정은 "LLM 추론의 방향은 '더 큰 모델·고가 하드웨어'의 속도 경쟁을 넘어, 주어진 SLO와 비용 제약 안에서 얼마나 효율적으로 서빙하느냐로 패러다임이 전환되고 있다고 봅니다. 앞으로는 모델링을 넘어 스케줄링·배치·오프로딩을 통합한 실제 추론 아키텍처를 구현·개선하는 시스템 개발로 확장할 예정입니다. 함께 연구한 김진우 석박통합과정과 지도해주신 김영재 교수님께 감사드리며, 관심 있는 학부생들의 적극적인 참여를 기대합니다."라고 소감을 밝혔다.

International Symposium on the Modeling, Analysis, and Simulation of Computer and Telecommunication Systems (MASCOTS)는 컴퓨터 시스템 모델링 및 성능 분석을 주제로 하는 저명한 학술 대회이다. 또한, MASCOTS는 BK21 Computer Science 분야 우수국제학술대회 리스트에 보정 IF=2로 등재되어 있으며, 정보과학회 소프트웨어분야 2024년 우수학술대회 목록에 우수 학회로 등재되어 있다. 본 학회는 올해 10월 21일-23일 프랑스 파리 Sorbonne University에서 개최될 예정이다.

참고자료:

- The 33rd International Symposium on the Modeling, Analysis, and Simulation of Computer and Telecommunication Systems

 

- Website: https://mascots25.iitis.pl/