▲ (왼쪽부터) 조성인 교수, 박기연 석사과정

본교 인공지능학과 조성인 교수 연구팀 (Smart Vision & Media (SVM) lab.) 석사과정 박기연 (제1저자)과 조성인 교수 (교신저자)가 작성한 “The Quiet Prompt: Erasing Ineffable Styles from Diffusion Models via Concept Leakage-aware Negative Guidance” 논문이 인공지능 분야 최상위 국제학회 NeurIPS 2026에 포스터 발표로 채택되었다.

▲ NeurIPS 2026 포스터 논문 소개 페이지

본 논문은 사전 학습된 텍스트-이미지 확산 모델 (Text-to-Image Diffusion Model)이 특정 화풍이나 객체, 유해 콘텐츠 등 원치 않는 개념을 생성하지 않도록 억제하는 Concept Erasure 기법을 제안한 연구이다. 대규모 확산 모델은 정제되지 않은 웹 데이터로 학습되기 때문에 저작권이 있는 예술 작품이나 개인 이미지를 그대로 모방할 위험이 있다. 기존 개념 제거 기법은 제거할 대상을 텍스트 프롬프트로 지정하는데, 이 방식은 색감, 질감, 형태처럼 언어로 정확히 서술하기 어려운 화풍을 충분히 표현하지 못한다. 또한 서술이 길어질수록 단어 선택이나 어순의 작은 차이에 따라 텍스트 임베딩이 크게 달라져, 같은 화풍도 일관되게 억제하기 어려웠다. 아울러 기존 네거티브 프롬프팅은 모든 디노이징 단계에서 고정된 크기의 네거티브 가이던스를 적용한다. 그 결과 제거 대상 개념이 강하게 나타나는 단계에서는 억제가 부족하고, 거의 나타나지 않는 단계에서는 불필요하게 생성 경로를 바꾸어 객체 형태, 배치, 배경 구조가 손상되는 문제가 있었다.

▲ 텍스트 기반 개념 제거 기법(왼쪽)과 제안하는 참조 이미지 기반 개념 제거 기법 Quiet Prompt (QuP)(오른쪽)의 비교: 텍스트 기반 기법은 제거 대상을 단어나 긴 서술로 지정해도 대상 화풍 영역을 정확히 찾지 못하거나 화풍이 남는다. 반면 QuP는 참조 이미지로부터 생성한 개념 임베딩(CEG)과 개념 누출 인지 네거티브 가이던스(CNG)를 통해 대상 화풍을 제거한다.

제안하는 기법인 Quiet Prompt (QuP)는 두 단계로 구성된다. 첫 번째는 개념 임베딩 생성 (Concept Embedding Generation, CEG) 단계로, 10장 미만의 참조 이미지만으로 제거 대상 개념의 시각적 특성을 하나의 학습된 토큰 임베딩으로 표현한다. 이 과정에서 확산 모델의 가중치는 고정하므로 모델을 재학습하거나 수정할 필요가 없다. 두 번째는 개념 누출 인지 네거티브 가이던스 (Concept leakage-aware Negative Guidance, CNG) 단계로, 학습된 임베딩을 추론 시 네거티브 조건으로 사용한다. 이때 각 디노이징 단계마다 중간 추정 이미지와 개념 임베딩 간의 코사인 유사도로 개념 누출 (concept leakage) 정도와 그 증가량을 측정하고, 이를 기반으로 네거티브 가이던스의 강도를 timestep별로 조절한다. 이를 통해 제거 대상 개념이 강하게 나타날 때만 억제를 강화하고, 그 외에는 입력 프롬프트에 따른 생성 경로를 보존하여 제거하고자 하는 개념만 효과적으로 제거할 수 있도록 한다. QuP는 확산 모델을 재학습하지 않고 적용되므로 다양한 backbone에서 동작하며, 화풍·객체·유해 콘텐츠 제거 실험에서 기존 기법들보다 정량적∙정성적으로 우수한 성능을 달성하였다.

▲ 고정 크기 네거티브 가이던스(a)와 제안하는 개념 누출 인지 네거티브 가이던스(b)의 디노이징 경로 비교: 고정 크기 가이던스에서는 제거 대상 화풍과 함께 프롬프트에 포함된 건물 구조까지 사라진다. 반면 제안 기법은 건물 구조를 보존하면서 대상 화풍을 제거한다.

NeurIPS (Conference on Neural Information Processing Systems)는 인공지능·기계학습 분야의 세계 최고 권위 학회로, 연구의 독창성, 기술적 기여, 재현성 및 학술·산업적 파급력을 중점적으로 평가하며, 메인 리서치 트랙과 Evaluations & Datasets, 워크숍·튜토리얼, 경쟁 (Competitions), 산업 엑스포 (Expo) 등으로 구성된다. NeurIPS 2026는 호주 시드니(12월 6–12일)를 메인 개최지로 하며, 공식 위성 행사가 미국 애틀랜타(12월 8–13일)와 프랑스 파리(12월 9–13일)에서 병행된다. 본 논문은 금년 12월 8일 (현지 시각 기준) 포스터 세션에서 발표될 예정이다.

참고자료:

• NeurIPS 2026 홈페이지 링크: https://neurips.cc

• 논문 링크: https://neurips.cc/virtual/2026/loc/sydney/poster/151233