변준호 박사과정 (지도교수/박운상 교수)

컴퓨터비전 및 영상처리 연구실(CVIP) 변준호(박사과정/제1저자), 김태곤(석사과정), 박주연(석사과정), 박운상 교수(교신저자)가 작성한 “Training Refines Onset Placement but Erodes Event Correspondence: A Full-Trajectory Audit of Video-to-Audio Onset Alignment” 논문이 우수국제학술대회 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2027에 게재가 확정되었다.

최근 영상-오디오(Video-to-Audio, V2A) 합성 모델은 무음 영상으로부터 녹음 음원에 가까운 음질과 의미적 적합성을 갖춘 오디오를 생성하는 수준에 이르렀다. 그러나 생성된 소리가 화면 속 사건이 일어나는 순간과 어긋나는 시간 정렬(temporal alignment) 문제는 여전히 해결되지 않고 있다. 사람은 25 ms 수준의 미세한 비동기도 부자연스럽게 인지하기 때문에, 타격음과 같이 사건 중심의 소리에서는 발생 시점(onset)의 정밀도가 체감 품질을 좌우한다.

기존 연구는 동기화 모듈이나 onset 조건, 정렬 손실 등 시간 정보를 추가하는 방식으로 이 문제에 접근해 왔으며, 성능은 학습이 끝난 단일 체크포인트에서만 보고하는 것이 관행이었다. 연구팀은 이러한 단일 시점 평가의 신뢰성에 의문을 제기하고, 5개의 학습 런에서 얻은 90개 체크포인트 전체에 대해 학습 궤적 전 구간에 걸쳐 시간 정렬을 측정하는 전궤적 감사(full-trajectory audit)를 수행했다.

그 결과, 사건 수준의 onset 대응(event correspondence)은 학습 초기 2만~3만 스텝에서 정점에 도달한 뒤 이후 수십만 스텝에 걸쳐 지속적으로 침식되는 반면, 오디오의 분포 품질(FD, IS 등)은 같은 구간에서 꾸준히 개선된다는 사실을 밝혔다.

연구팀은 허용 오차별 분해와 탐지기에 의존하지 않는 사건 유발 평균(event-triggered average) 분석을 통해 침식의 실체를 규명했다. 학습이 진행될수록 살아남은 onset은 더 정밀하게 배치되지만(50 ms 기준 F1 상승), 대응하는 생성음을 갖는 참조 사건의 수는 줄어들며(300 ms 기준 F1 하락), 사건에 대한 응답 자체는 유지되는 반면 사건 사이의 배경 응답이 두 배로 늘어나 사건-배경 대비가 절반으로 줄어드는 것이 그 기제임을 보였다. 아울러 약 65~86 ms의 배치 지연이 동기화 경로(synchronization pathway)에 의해 매개된다는 점을 통제 실험으로 확인하였다.

이 진단을 검증하기 위해 연구팀은 시각적 설명 가능성 기반 데이터 큐레이션, 동기화 분기 동결(sync-freeze), 입력측 onset 주입, 출력측 보조 onset 손실의 네 가지 개입을 동일한 백본·시드·배치 조건에서 전궤적에 걸쳐 비교했다. 그 결과 학습 2만 스텝 시점에 동기화 경로(7.6M 파라미터)의 갱신을 중단하는 동기화 분기 동결이 측정된 변동 폭을 넘어 시간 정렬성을 개선하고, 동일 학습 예산 기준 onset F1을 +0.012 향상시키며 시간 정렬-품질 trade-off 경계를 바깥으로 이동시켰다. 출력측 보조 손실은 배치 지연을 일관되게 줄였고, 입력측 onset 주입은 추론 시 생성 onset 구조에 영향을 주지 못한다는 결과를 확인했다.

이번 연구는 학습 중 동기화 모듈을 고정하는 sync-freeze가 추가 비용 없이 같은 학습량에서 더 높은 onset 정렬을 유지하며 시간 정렬-음질 trade-off 경계를 바깥으로 이동시킨다는 것을 보였고, 동시에 시간 정렬 성능을 단일 체크포인트에서 보고하는 기존 관행이 학습량 차이만으로 방법의 효과보다 큰 착시를 낳을 수 있음을 드러냈다. 연구팀이 제안한 전궤적·동일 예산 비교 프로토콜과 공개 벤치마크는 V2A 시간 정렬 연구의 해법과 평가 기준을 함께 재정립하는 데 기여할 것으로 기대된다.

본 논문의 제1저자인 변준호 박사과정은 "이번 연구는 영상-오디오 합성에서 소리의 발생 시점 정렬을 체크포인트 하나의 수치가 아니라 학습 과정 전체의 문제로 바라본 데서 출발했습니다. 학습이 진행될수록 음질은 좋아지지만 사건과 소리의 대응은 무너지고, 기존 동기화 지표는 이를 잡아내지 못한다는 것을 측정으로 확인했습니다. 원인이 동기화 경로의 후반 재적응에 있다는 진단에서 출발해, 타이밍 구조가 형성된 시점에 그 경로의 학습만 멈추는 sync-freeze를 제안했고, 추가 파라미터나 손실 없이 같은 학습량에서 더 높은 정렬을 유지할 수 있음을 보였습니다. 타이밍 정보를 더 넣어주는 익숙한 접근이 효과가 없었던 것과 대비되는 결과라, 이 문제를 '무엇을 추가할까'가 아니라 '무엇을 지킬까'로 다시 묻게 된 점이 개인적으로 가장 의미 있었습니다. 앞으로는 sync-freeze를 다중 시드와 다른 백본에서 검증하고, 시간 정렬에 특화된 영상 인코더로 이어가려 합니다. 함께 연구한 김태곤, 박주연 공동연구자와 지도해주신 박운상 교수님께 감사드립니다."라고 소감을 밝혔다.

IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)는 IEEE Computer Society와 Computer Vision Foundation(CVF)이 공동 주관하는 컴퓨터 비전 분야의 권위 있는 국제학술대회로 한국정보과학회 소프트웨어 분야 우수학술대회 목록에서 우수 학술대회로 분류되어 있다. 본 학회는 2027년 1월 5일부터 9일까지 미국 플로리다에서 개최될 예정이다.

참고자료:

• IEEE/CVF Winter Conference on Applications of Computer Vision 2027 (WACV 2027)

• Website: https://wacv.thecvf.com/