MLLM 환각의 유형과 시각적 정렬의 목적

MLLM(Multimodal Large Language Model) 개발자는 모델이 단순한 사실 오류를 넘어 이미지 내용과 일치하지 않는 응답을 생성하는 환각 문제에 직면한다. 환각은 크게 두 가지 경로로 발생한다. 첫 번째는 일반적인 언어 모델과 유사하게 외부 지식에 기반해 잘못된 사실을 진술하는 경우이며, 두 번째는 생성된 응답이 입력된 이미지의 실제 시각적 내용과 일치하지 않는 경우다. 특히 시각적 정보와 텍스트 응답 사이의 불일치는 모델이 이미지의 세부 사항을 무시하고 텍스트 생성 확률에만 의존할 때 발생하며, 이는 MLLM의 실무 적용을 제한하는 핵심 제약 조건이 된다.

정렬(Alignment) 연구자들은 MLLM의 응답을 이미지 정보에 더 밀접하게 밀착시켜 이러한 환각을 억제하는 것을 주 목적으로 삼는다. 이는 모델이 이미지의 시각적 근거를 무시하고 학습 데이터에 포함된 통계적 패턴이나 편향을 따라 답변하는 현상을 방지하기 위한 조치다. 정렬 과정이 성공적으로 수행되면 모델은 이미지에 존재하는 객체, 속성, 관계를 정확히 파악하고 이를 바탕으로 일관성 있는 응답을 생성한다. 결과적으로 정렬은 모델의 텍스트 생성 능력을 이미지라는 물리적 제약 조건 안에 가두어 근거 없는 답변을 생성하는 환각을 제어하는 장치로 작동한다.

최근의 연구진들은 이러한 정렬을 구현하기 위해 MLLM 전용 선호도 데이터셋을 구축하고 DPO(Direct Preference Optimization)와 PPO(Proximal Policy Optimization) 같은 최적화 기법을 적용하고 있다. 이 기법들은 동일한 이미지와 질문에 대해 더 적절한 응답(Preferred)과 부적절한 응답(Rejected)을 쌍으로 묶어 모델에게 제시하는 방식을 취한다. 모델은 선호되는 응답의 생성 확률은 높이고 환각이 포함된 응답의 확률은 낮추는 최적화 과정을 거치며, 단순한 문장 생성이 아니라 시각 정보에 기반한 정확한 추론을 수행하도록 유도된다.

오프라인 DPO와 온라인 DPO의 결합 전략

연구진은 MLLM 정렬 알고리즘을 오프라인 방식(DPO 등)과 온라인 방식(Online-DPO 등)의 두 그룹으로 분류하여 성능을 분석했다. 오프라인 정렬은 미리 준비된 고정 데이터셋을 기반으로 학습하는 방식이다. 정답과 오답이 쌍으로 묶인 데이터를 사용하여 모델이 선호하는 응답의 확률을 높이도록 유도하며, 데이터가 이미 정제되어 있어 학습 과정의 안정성이 높다는 특징이 있다. 다만 모델이 학습 과정에서 실시간으로 변화시키는 출력 특성을 즉각적으로 반영하지 못한다는 한계가 존재한다.

온라인 정렬은 Online-DPO와 같이 학습 과정에서 모델이 직접 데이터를 생성하고 이를 즉시 학습에 반영하는 동적 루프를 형성한다. 모델이 현재 상태에서 내놓은 응답들을 실시간으로 샘플링하고, 그중 더 나은 응답을 선택해 다시 학습 데이터로 사용하는 구조다. 이 방식은 모델이 실제로 생성하는 최신 응답을 기준으로 정렬하기 때문에, 오프라인 방식에서 발견하기 어려운 모델 고유의 생성 오류를 수정하는 데 유리하다. 다만 초기 생성 품질이 낮을 경우 학습의 변동성이 커질 수 있다는 위험 요소가 있다.

분석 결과, 연구진은 오프라인 정렬과 온라인 정렬 방식을 결합했을 때 특정 시나리오에서 모델 성능이 향상되는 것을 확인했다. 먼저 오프라인 정렬을 통해 전반적인 선호도 기준을 설정하고, 이후 온라인 정렬로 모델의 실제 출력물을 미세 조정하는 단계적 접근을 취한 결과다. 고정된 데이터셋으로 기초적인 정렬 체력을 기르고 동적 생성 데이터로 실전 생성 오류를 보완함으로써 정렬의 정밀도를 높였다. 이는 단일 방식의 적용보다 결합 전략이 MLLM의 이미지-텍스트 일치도를 높이는 데 더 효과적임을 입증한다.

외부 모델을 배제한 BDHS 데이터 생성 기법

연구진은 추가적인 데이터 주석이나 외부 모델의 도움 없이 선호도 데이터를 생성하는 BDHS(Bias-Driven Hallucination Sampling, 편향 기반 환각 샘플링) 기법을 도입했다. 기존의 정렬 방식은 사람이 직접 정답과 오답을 구분하는 주석 작업에 막대한 비용을 투입하거나, GPT-4와 같은 고성능 외부 모델을 이용해 데이터를 정제하는 방식을 사용했다. BDHS는 이러한 외부 의존성을 완전히 제거하고 모델 내부의 샘플링 과정만으로 학습 데이터를 확보하는 구조를 가진다. 모델이 스스로 생성한 응답 중 편향된 환각 사례를 추출하여 선호도 쌍을 구성하는 것이 핵심이다.

BDHS는 MLLM이 내부에 이미 보유한 모달리티 정렬 특성을 활용하여 데이터를 생성한다. CLIP(Contrastive Language-Image Pretraining) 같은 모델의 특징 공간에서 발생하는 모달리티 간극(Modality Gap)을 외부 모델의 가이드 없이 내부 샘플링으로 메우는 방식을 취한다. 이를 통해 실무자는 외부 모델 사용 시 발생하는 API 호출 비용, 데이터 유출 우려, 인프라 구축 시간을 고려하지 않고도 정렬 데이터를 확보할 수 있다. 또한 학습 대상 모델이 직접 데이터를 생성하므로 학습 모델과 데이터 생성 모델 사이의 괴리를 최소화할 수 있다.

BDHS를 통해 구축한 데이터셋은 다양한 벤치마크 테스트에서 기존의 MLLM 정렬 작업과 경쟁 가능한 수준의 성능을 달성했다. 인간 주석자가 개입해 데이터를 일일이 검수하거나 상위 모델이 정답을 생성해주는 과정 없이도 모델의 환각을 효과적으로 억제하고 정렬 성능을 끌어올렸다. 이는 데이터 생성의 병목이었던 인적 리소스와 비용 문제를 해결하면서도 실질적인 성능 향상을 이끌어낼 수 있음을 보여주는 결과다.

데이터 구축 비용 대비 성능 최적화 선택 기준

실무자는 MLLM 최적화 과정에서 데이터셋 구축에 투입될 직접 비용과 정렬 알고리즘 조합으로 얻을 수 있는 성능 이득을 비교하여 전략을 수립해야 한다. 이번 연구는 데이터 구성, 베이스 모델, 정렬 방법 중 어떤 요소가 성능에 기여하는지 독립적으로 분석하여 효율적인 경로를 제시했다. 실무 환경에서 단순히 데이터의 양을 늘리는 방식은 라벨링 비용의 급격한 상승으로 이어져 운영 효율성이 낮아지므로, 데이터 구축의 세부 사항을 제어하는 효율적인 샘플링 전략을 선택하는 것이 유리하다.

특히 고가의 라벨링 데이터를 추가로 확보하는 대신, 알고리즘의 조합과 실행 순서를 최적화함으로써 성능을 극대화할 수 있다. BDHS로 생성한 데이터를 기반으로 오프라인 정렬을 수행하고, 이를 다시 온라인 정렬로 보완하는 전략은 데이터 부족 문제를 알고리즘적 효율성으로 해결하는 구체적인 방법이 된다. 이는 데이터 구축의 디테일이 모델의 최종 출력 품질에 직접적인 영향을 준다는 사실을 뒷받침한다.

결론적으로, 추가 주석이나 외부 모델을 배제한 상태에서 오프라인-온라인 정렬 결합 전략을 사용하는 것이 데이터 구축 비용 대비 성능을 최적화하는 가장 구체적인 실행 기준이다. 실무자는 모델의 이미지-텍스트 일치도가 낮게 측정될 때, 고비용의 라벨링을 추가하기보다 'BDHS 기반 데이터 생성 $

ightarrow$ 오프라인 DPO $

ightarrow$ 온라인 DPO' 순의 파이프라인을 적용하여 성능 개선 여부를 확인해야 한다.