이선호, 조성인의 연구 논문 “Remembering Across Blocks: Topology-Conditioned Block-Progressive Memory for Skeleton-Based Action Recognition”이 컴퓨터 비전 분야 최고 권위 국제학술대회인 European Conference on Computer Vision (ECCV) 2026에 정규 논문으로 채택되었다.

본 논문은 사람의 관절 좌표 시퀀스로부터 동작을 인식하는 skeleton-based action recognition 문제를 다룬다. Skeleton-based action recognition은 신체 구조와 시간적 움직임 정보를 함께 분석해야 하는 중요한 컴퓨터 비전 연구 분야로, 최근 graph convolutional network (GCN) 기반 방법들이 널리 연구되고 있다.

기존 GCN 기반 방법들은 관절을 그래프의 노드로 보고, 인접 관절 간 one-hop message passing을 반복적으로 수행하여 장거리 의존성을 학습한다. 또한 여러 GCN block을 거치며 block-wise learned topology를 통해 표현을 점진적으로 정제한다. 그러나 반복적인 graph aggregation은 깊은 block으로 갈수록 node feature들이 점차 유사해지는 over-smoothing 문제를 유발할 수 있다. 또한 초기 block에서 형성된 fine-grained motion cues가 이후 aggregation 과정에서 희석되어, 최종 embedding에 충분히 반영되지 못할 수 있다.

연구팀은 이러한 문제를 해결하기 위해 topology-conditioned block-progressive memory를 제안한다. 제안 방법은 GCN block 축을 따라 각 block에서 형성되는 complementary representation을 memory에 저장하고, 누적된 memory state를 최종 embedding에 융합함으로써 반복적인 graph aggregation으로 인한 representation degradation을 완화한다.

그림 1. 제안 방법의 전체 아키텍처. (a) Conventional GCN feature extractor를 기반으로 한 baseline 구조. (b) 제안하는 topology-conditioned block-progressive memory module.

제안하는 memory module은 각 sample마다 고유한 memory state를 유지하며, topology-conditioned reconstruction loss를 최소화하는 방식으로 block별 memory를 업데이트한다. 이때 reconstruction error는 이전 memory가 현재 block representation을 얼마나 잘 설명하는지를 측정하는 동시에, 새롭게 나타나는 discriminative cue를 포착하는 역할을 한다. 이를 통해 모델은 마지막 block의 표현에만 의존하지 않고, 여러 block에서 형성되는 세밀한 관절 표현과 구조적 정보를 함께 활용할 수 있다.

또한 본 논문은 inference 단계에서 두 가지 동작 방식을 지원한다. Memory-free mode는 memory module을 학습 과정에서만 활용하고 테스트 시에는 추가적인 memory update 없이 추론을 수행하는 방식이며, memory-enabled mode는 테스트 시에도 동일한 memory update rule을 적용하여 추가적인 성능 향상을 얻는 방식이다.

실험 결과, 제안 방법은 NTU RGB+D, NTU RGB+D 120, Kinetics-Skeleton등 대규모 skeleton-based action recognition benchmark에서 state-of-the-art 성능을 달성했다. 이는 각 GCN block에서 형성되는 유용한 표현을 기억하고 최종 인식에 활용하는 방식이 skeleton-based action recognition 성능 향상에 효과적임을 보여준다.

ECCV는 CVPR, ICCV와 함께 컴퓨터 비전 분야를 대표하는 최상위 국제학술대회 중 하나로, 컴퓨터 비전 전반의 최신 연구 성과가 발표되는 권위 있는 학회이다. ECCV 2026은 2026년 9월 8일부터 12일까지 스웨덴 말뫼에서 개최될 예정이다.

 

[참고자료]

논문 제목: Remembering Across Blocks: Topology-Conditioned Block-Progressive Memory for Skeleton-Based Action Recognition

저자: 이선호 (제1저자, 서강대), 한상훈 (공저자, 서강대), 남혁 (공저자, 서강대) 조성인 (교신저자, 서강대)

The European Conference on Computer Vision (ECCV) 2026 website: https://eccv.ecva.net/

Lab homepage: https://sites.google.com/view/csi2267svm/