인공지능학과 장부루 교수 연구팀,

세계최고 컴퓨터 비전 학술대회 ECCV 2024에 논문 채택

▲인공지능학과 장부루 교수

인공지능학과 장부루 교수가 교신저자로 참여한 서울대 연구팀과의 논문이 세계 3대 컴퓨터 비전 학회인 “European Conference on Computer Vision” (이하 ECCV 2024, BK 인정 IF=2)에 채택되었다.

 

연구팀은 “Exploiting Semantic Reconstruction to Mitigate Hallucinations in Vision-Language Models”라는 제목의 논문을 ECCV 2024에 발표할 예정이며, 이 연구는 거대 시각 언어 모델의 환각(Hallucination) 문제 완화를 위한 완전한 비지도 학습(Fully Unsupervised Learning) 방법인 ESREAL을 공개한다.

 

 

   

ESREAL은 별도의 환각 라벨 데이터 없이 Text-to-Image 생성 기술을 활용해 주어진 이미지에 대해 생성된 환각 텍스트로부터 이미지를 복원하고, 이를 원본 이미지와 비교하여 환각이 일어난 위치와 종류를 탐지한다.

 

장부루 교수는 “이번 연구를 통해 거대 시각 언어 모델의 환각 문제를 완화할 수 있으며, 이를 통해 궁극적으로 AI 모델의 신뢰성을 향상시킬 수 있을 것으로 기대된다. 특히, 저자 전원이 학부생인 점에서 이번 연구 성과는 더욱 주목할 만하다.” 라고 밝혔다.

 

한편, ECCV 2024는 오는 9월 29일부터 10월 4일까지 이탈리아 밀라노에서 개최될 예정이다.

 

 

▶논문 제목: Exploiting Semantic Reconstruction to Mitigate Hallucinations in Vision-Language Models

▶논문 링크: https://arxiv.org/abs/2403.16167

 

출처 : 서강 Story - 뉴스 - 연구성과   https://sogang.ac.kr/ko/story/media-center?tab=3