최우수국제학술대회 Design Automation Conference(DAC)  2025 정규 발표 논문 채택

이영민 교수

이영민 교수가 교신저자로 작성한 논문이 하드웨어-소프트웨어 설계자동화 학회인 “Design Automation Conference” (이하 DAC 2025, 한국정보과학회 최우수학술대회, BK 인정 IF=3)에 선정되어, 2025년 6월 22일부터 6월 25일까지 미국 샌프란시스코에서 열리는 DAC 2025에서 발표되었다.

 

“Grasp: Group-based Prediction of Activation Sparsity for Fast LLM Inference”라는 제목의 논문으로 발표된 이 연구는, LLM 추론 가속을 위하여 출력 활성 희소도를 효율적으로 예측하는 새로운 방법인 Grasp를 제안하였다.

 

입력 활성 희소도(Activation Sparsity)가 개별 원소의 계산만 건너뛸 수 있는 반면, 출력 활성 희소도는 그 계산에 관여하는 입력 벡터들 전체의 메모리 적재와 계산을 전부 건너뛸 수 있다는 점에서 메모리 적재가 주된 성능병목 LLM 추론에 매우 효과적이다. 하지만, 출력 활성 희소도를 정확하게 예측하는 것은 어려운 문제이다. 본 연구는 출력 활성 희소도를 정확하고 효율적으로 예측함으로써, 정확도 하락없이 LLM의 MLP(FFN)를 3.5배, LLM 전체 추론시간을 1.9배(2.1배 상한) 단축하였다.

이영민 교수는 “LLM 추론은 메모리 병목이 많아서 단순히 GPU의 코어 수를 늘린다고 해결되지 않으며, HBM을 장착한 고가의 GPU 수요가 높아지는 것도 이 메모리 병목을 해소하기 위함인데, 출력 활성 희소도를 활용하는 접근법은 계산과 메모리 병목을 동시에 해소하므로 매우 유망한 접근법이다. 최근 발표한 SparseInfer와 본 논문(Grasp) 뿐만 아니라, 이 접근법으로 LLM 추론 가속에 대한 일련의 연구성과들을 계속 발표할 수 있을 것으로 기대한다”라고 밝혔다.

참고자료:

학회: https://www.dac.com/    연구실: https://aisys.sogang.ac.kr