우수국제학술대회 23rd IEEE/ACM International Symposium on Cluster, 

Cloud and Internet Computing 정규발표 논문 채택

 

 

컴퓨터공학과 맹산하 학생(데이터중심컴퓨팅 및 시스템 연구실) 과 문의현 교수(머신러닝시스템 연구실)와 교신저자인 박성용 교수(데이터중심컴퓨팅 및 시스템 연구실) 가 작성한 ‘Chronica: A Data-Imbalance-Aware Scheduler for Distributed Deep Learning’이라는 제목의 논문이 BK21 플러스 사업 Computer Science 분야 우수국제학술대회 리스트에 보정 IF=1로 등재된 IEEE/ACM International Symposium on Cluster, Cloud and Internet Computing (CCGrid)에 게재가 확정되었다.

▲ (왼쪽부터) 맹산하 학생, 문의현 교수, 박성용 교수

해당 연구의 목적은 영상이나 음성, 텍스트와 같이 학습 시에 데이터 샘플마다 요구되는 연산의 수가 서로 다른 데이터로 딥러닝 모델을 분산 학습시킬 때 학습의 속도 및 확장성을 개선하는 것이며, 제안된 시스템의 이름은 ‘Chronica’이다.

 

Chronica는 학습한 데이터의 크기와 학습에 소요된 시간으로부터 각 프로세스의 성능을 추론한다. 이를 통해 Chronica는 모든 프로세스들의 학습 시간을 균일하게 만들어 프로세스 간 동기화의 지연 시간을 최소화함으로써 학습을 가속화한다. 학습 시간 단축 외에도, Chronica는 데이터 샘플 간 크기의 차이에 따른 gradient의 가중치 불균형 문제를 해소하여 학습을 더욱 가속화한다.

 

Chronica는 아마존 클라우드의 32대의 GPU 인스턴스로 이루어진 클러스터에서  6개의 서로 다른 데이터 불균형 정도를 갖는 데이터와 4개의 딥러닝 모델을 사용하여 평가되었으며, 비교 시스템들보다 최대 3.19배 빠른 학습 속도를 보였다.

 

IEEE/ACM CCGrid는 분산 시스템의 다양한 주제를 아우르는 저명한 국제학술대회이다. 본 학회는 금년 인도의 벵갈루루에서 5월 1일부터 4일까지 진행될 예정이다.

 

 

참고자료

 

CCGrid 2023 홈페이지: https://ccgrid2023.iisc.ac.in/

Chronica 논문: https://discos.sogang.ac.kr/file/2023/intl_conf/ccgrid23_chronica.pdf