이영민 교수

이영민 교수가 교신저자로 작성한 논문이 하드웨어-소프트웨어 설계자동화 학회인 “Design Automation and Test in Europe” (이하 DATE 2025, 한국정보과학회 우수학술대회, BK 인정 IF=2)에 선정되어, 2025년 3월 31일부터 4월 2일까지 프랑스 리옹에서 열리는 DATE 2025에서 발표될 예정이다.

 

“SparseInfer: Training-free Prediction of Activation Sparsity for Fast LLM Inference”라는 제목의 논문으로 발표될 이 연구는, LLM 추론 가속을 위하여 출력 활성 희소도를 효율적으로 예측하는 새로운 방법인 SparseInfer를 제안한다.

 

입력 활성 희소도(Activation Sparsity)가 개별 원소의 계산만 건너뛸 수 있는 반면, 출력 활성 희소도는 그 계산에 관여하는 입력 벡터들 전체의 메모리 연산과 계산을 전부 건너뛸 수 있다는 점에서 매우 효율적이다. 그러나, 이를 미리 예측하는 것은 어려운 문제이다. 본 연구는 출력 활성 희소도를 별도의 학습 없이도 정확하고 효율적으로 예측함으로써, 정확도 하락없이 LLM의 MLP를 3.5배, LLM 전체 추론을 1.8배 가속하였다.

이영민 교수는 “이번 연구를 통해 임의의 LLM이 주어지더라도 별도 학습없이 출력 활성 희소도를 비교적 정확히 예측하여, LLM을 정확도 하락없이 크게 가속할 수 있다는 것을 보였다. LLM은 메모리 병목이 많은데, 출력 활성 희소도를 활용하는 접근법은 계산 뿐만 아니라 메모리 병목도 해소하므로 매우 유망하며, 본 논문을 시작으로 일련의 연구성과들을 발표할 수 있을 것으로 기대한다”라고 밝혔다.

 

참고자료:

학회: https://www.date-conference.com/

논문: https://arxiv.org/abs/2411.12692