LLM 추론을 위한 GPU 스케줄링 및 실행 최적화

대규모 LLM 추론에서 토큰 길이 예측과 컨티뉴어스 배칭을 활용하여 요청 간 실행 특성을 분류하고, GPU 활용도와 처리량을 극대화하는 추론 실행 및 스케줄링 기법을 연구한다.

클라우드 LLM 서빙 및 Infrastructure-Aware KV Cache 관리

클라우드 환경에서 GPU-CPU-SSD로 구성된 계층적 인프라를 고려하여 KV cache의 배치, 이동, eviction을 최적화하고, SLO를 만족하는 비용 효율적 LLM 서빙 아키텍처를 연구한다.

RAG를 위한 VectorDB 및 스토리지 가속

RAG를 위한 VectorDB 워크로드를 대상으로 대규모 임베딩 데이터의 저장, 검색을 가속하고, 검색-추론 파이프라인 전반에서 GPU 활용률을 높이기 위한 데이터 접근 및 실행 스케줄링 기법을 연구한다.

메모리-스토리지-VectorDB-GPU 크로스레이어 LLM 시스템 설계

LLM 런타임, KV cache, VectorDB, 파일 시스템, 스토리지, GPU 스케줄러를 연계하는 크로스레이어 설계를 통해 클라우드 기반 RAG-LLM 서비스의 처리량과 tail latency를 동시에 개선한다.