머신러닝 시스템 연구실 연구팀,

우수국제학술대회 The 30th International European Conference on Parallel and

 Distributed Computing (Euro-Par) 정규발표 논문 채택

 

▶ (왼쪽부터) 이은지(석사과정), 한윤상(석사과정), 문의현 지도교수

머신러닝 시스템 연구실의 컴퓨터공학과 대학원 이은지(석사과정 3학기, 공동 1저자), 인공지능학과협동과정 대학원 한윤상(석사과정 3학기, 공동 1저자) 학생과 문의현 지도교수(교신저자)가 작성한 논문이 국제 고성능 컴퓨팅 학술대회 International European Conference on Parallel and Distributed Computing (이하 Euro-Par)에 채택되었다. Euro-Par 학회는 BK21 플러스 사업 Computer Science 분야 우수국제학술대회 리스트에 보정 IF=1로 등재되어있다.

 

논문 제목은 ‘Accelerated Block-Sparsity-Aware Matrix Reordering for Leveraging Tensor Cores in Sparse Matrix-Multivector Multiplication’으로, 본 논문은 다양한 딥러닝 모델과 계산과학 응용 알고리즘의 주요 커널인 SpMM(Sparse Matrix-Multivector Multiplication) 연산의 실행 속도를 향상시키기 위해 최신 GPU에 장착된 Tensor Cores 가속기의 활용을 극대화한 새로운 SpMM 연산 최적화 알고리즘을 제안하였다.

그림 1. 병렬화된 희소 행렬 재배열 알고리즘 개요

 

본 논문에서는 밀집도가 높은 밀집 행렬-밀집 행렬 연산 가속을 위해 설계된 Tensor Cores 를 SpMM 연산 가속화를 위해 활용하기 위해 희소성이 매우 높은 희소 행렬을 부분 밀집도가 높은 새로운 데이터 구조로 변환하는 희소 행렬 재배열 알고리즘을 제안하였다. 그림 1은 본 논문에서 제안하는 병렬화된 희소 행렬 재배열 알고리즘의 전반적인 과정을 보여준다. 각 행별로 0값이 아닌 원소들의 열 인덱스 패턴이 유사한 행들을 클러스터링하기 위해 본 논문에서는 Weighted Jaccard Similarity 유사도를 적용하여 행들 간의 유사도를 측정하였다. 이를 통해 데이터 지역성이 낮은 희소 행렬을 부분 밀집도가 높고 데이터 지역성이 향상된 새로운 희소 행렬로 변환하였다. 새롭게 변환된 희소 행렬에서 부분적으로 0이 아닌 원소들로 밀집된 부분 행렬을 Tensor Cores 활용을 통해 행렬 곱셈 연산을 가속 처리하도록 설계하였다. 또한, 희소 패턴이 불규칙적인 거대 희소 행렬이 주어지더라도 희소 행렬 재배열 전처리 과정을 가속하기 위해 동적 병렬성(dynamic parallelism) 기법을 활용하여 최적화된 GPU 커널을 구현하였다. 다양한 희소성 비율과 크기를 갖는 희소 행렬들이 포함된 DLMC(Deep Learning Matrix Collection) 데이터셋을 이용하여 기존의 최신 SpMM 최적화 알고리즘과 NVIDIA에서 제공하는 Tensor Cores를 활용한 희소 행렬 연산 라이브러리와 성능을 비교하였을 때, 본 논문에서 제안하는 BSA-SpMM (Block-Sparsity-Aware SpMM) 알고리즘이 더 높은 성능을 보여주었다.

 

한편, The 30th International European Conference on Parallel and Distributed Computing는 오는 8월 26일부터 30일까지 스페인 마드리드에서 개최될 예정이다.