2022 한국소프트웨어종합학술대회(KSC 2022) 최우수 논문상 수상

- 데이터 중심 컴퓨팅 및 시스템 연구실 -

맹산하 컴퓨터공학과 대학원생(지도교수: 박성용)의 ‘데이터 불균형 최소화를 통한 분산 딥러닝 가속화 기법’논문이 지난 12월 20일 ~ 23일(4일간) 열린 2022 한국소프트웨어종합학술대회(KSC 2022)에서 최우수 논문상을 수상했다.

▲ 왼쪽부터 맹산하(석사과정 4학기), 박성용(지도교수)

▲ 2022 한국소프트웨어종합학술대회(KSC 2022) 최우수 논문상 수상확인서

딥러닝은 계산 집약적이고 오랜 시간이 걸리는 작업이기 때문에 학습의 가속화를 위해 GPU 클러스터를 사용한 분산 딥러닝이 널리 사용되고 있다. 분산 딥러닝에서 학습의 지연 현상은 학습이 가장 느린 straggler에 큰 영향을 받는데, 최근의 연구들은 straggler 문제를 해결하기 위해 다양한 학습 정책을 제안하였으나 이미지 데이터와 같이 모든 학습 샘플의 크기가 균일하다는 가정 하에 설계되었기 때문에 영상이나 음성 데이터와 같이 학습 샘플의 크기가 불균형한 데이터로 인해 발생하는 학습 지연 문제를 인지하지 못했다.

 

본 논문에서는 학습 샘플 크기의 불균형을 인지하고 이로 인해 발생하는 straggler 문제를 해결하기 위한 스케줄링 및 셔플링 정책을 제시한다. 

데이터 불균형을 고려한 스케줄러를 평가한 결과 범용 기계학습 프레임워크인 TensorFlow와 비교했을 때 학습 시간은 최대 53% 감소하였고 수렴 속도는 최대 24% 가속화되었다.