머신러닝 시스템 연구실 연구팀,

우수국제학술대회 The 28th Pacific-Asia Conference on Knowledge Discovery and

Data Mining (PAKDD) 정규발표 논문 채택

 

 

머신러닝 시스템 연구실의 컴퓨터공학과 대학원 윤보경(석사과정 4학기, 단독 1저자), 인공지능학과협동과정 대학원 한윤상(석사과정 2학기) 학생과 문의현 지도교수(교신저자)가 작성한 논문이 국제 데이터 마이닝 학술대회 Pacific-Asia Conference on Knowledge Discovery and Data Mining 2024 (이하 PAKDD 2024)에 채택되었다. PAKDD는 BK21 플러스 사업 Computer Science 분야 우수국제학술대회 리스트에 보정 IF=1로 등재되어 있다.

(왼쪽부터) 윤보경 학생, 한윤상 학생, 문의현 교수

 

논문 제목은 'Layer-Wise Sparse Training of Transformer via Convolutional Flood Filling’으로, 본 논문은 트랜스포머 모델 연산의 병목이 되는 멀티-헤드 어텐션(Multi-Head Attention)의 계산 복잡도를 줄여 학습에 요구되는 시간과 메모리를 감소시키기 위해 새로운 희소화 알고리즘을 제안하였다.

그림 1. 희소 패턴 생성/탐지 단계의 컨볼루션 플러드-필링 알고리즘 개요

그림 1은 이 논문에서 제안하는 희소 패턴 탐색 알고리즘으로 컨볼루션 필터(Convolution Filter)와 플러드-필링(Flood-Filling) 알고리즘을 결합하여 어텐션 연산에서 나타나는 계층별 희소 패턴을 효율적으로 취득한다. 먼저 어텐션 스코어 행렬의 패턴을 탐색하기 위해 컨볼루션 필터를 활용한다. 그리고 평균값 풀링(Average Pooling)을 취하여 블럭 단위의 어텐션 행렬를 만들고, 플러드-필링 알고리즘을 통해 중요한 원소들을 찾아낸다. 마지막으로 업샘플링(Upsampling)을 통해 어텐션 스코어 행렬 크기의 희소 패턴을 생성한다. 이렇게 생성한 희소 패턴을 이용하여 희소 어텐션으로 학습을 재개한다. 이 때 효과적으로 학습에 요구되는 시간과 메모리의 양을 감소시키기 위하여 희소 어텐션의 세가지 연산에 대하여 최적화를 진행하였다. 6가지 데이터셋을 이용하여 실험을 진행하였을 때 다른 희소화한 트랜스포머 모델 대비 최대 2.78배 적은 학습 시간과 7.24배 적은 학습 메모리로 더 나은 정확도를 보여주었다.

한편, Pacific-Asia Conference on Knowledge Discovery and Data Mining 2024는 오는 5월 7일부터 10일까지 대만 타이베이에서 개최될 예정이다.