발표에서 확인된 핵심 사실

문서에서 글자를 읽어내는 OCR(광학 문자 인식)부터 레이아웃 분석을 거쳐 최종적인 문서 양식으로 변환하는 과정은 그동안 매우 복잡한 파이프라인을 거쳐야 했다. 각 단계마다 개별 모델을 배치하고 이를 유기적으로 연결하는 방식이 표준이었으나, 이러한 구조는 관리 포인트가 많고 시스템 자원 소모가 크다는 한계가 있었다. 최근 이러한 처리 방식은 단일 모델이 모든 과정을 통합 수행하는 형태로 빠르게 전환되는 추세다. OvisOCR2는 문서 파싱 성능을 측정하는 OmniDocBench v1.6(문서 파싱 벤치마크)에서 96.58점을 기록하며 SOTA(최고 수준의 성능)를 달성했다.

이번 성과는 과거 여러 모델을 엮어 성능을 극대화했던 파이프라인 방식이 독점하던 1위 자리를 엔드투엔드(End-to-End, 입력부터 출력까지 한 번에 처리하는 방식) 모델이 처음으로 탈환했다는 점에서 기술적 상징성이 크다. 복잡한 연결 과정 없이 단일 모델만으로도 최상위 성능을 낼 수 있음을 수치로 증명했다. 이와 더불어 PureDocBench(문서 분석 성능 측정 도구)에서도 평균 3점수(Avg3 score) 75.06점을 기록하며 범용적인 문서 파싱 능력을 입증했다.

실제 모델을 운용하기 위해서는 대규모 언어 모델 추론 가속 엔진인 vLLM 설치가 필수적이다. `pip install "vllm==0.22.1" pillow` 명령어를 통해 vllm 0.22.1 버전과 pillow 라이브러리를 설치하는 과정이 선행되어야 한다. 환경 구축 후 제공된 파이썬 코드를 통해 추론 기능을 구현할 수 있다. 이는 기존의 복잡한 파이프라인 설계 과정 없이 가속 엔진과 필수 라이브러리 설치만으로 고성능 문서 파싱 시스템을 구축할 수 있는 경로를 제공한다.

기술이 실제로 작동하는 방식

기존 문서 파싱은 OCR로 글자를 읽고 레이아웃 분석기로 구조를 파악해 문서 양식으로 변환하는 다단계 파이프라인에 의존했다. 각 단계마다 서로 다른 모델을 연결해야 했기에 처리 과정이 복잡하고 단계별 오차가 누적되는 구조였다. OvisOCR2는 입력부터 출력까지 한 번에 처리하는 엔드투엔드(End-to-End) 방식을 도입해 이 모든 단계를 하나로 통합했다. 단일 모델이 이미지 입력부터 최종 양식 출력까지 직접 수행하며 문서 파싱의 새로운 기준을 제시했다.

Qwen3.5-0.8B를 기반으로 구축된 이 모델은 0.8B 파라미터 규모의 소형 모델이다. 개발팀은 실제 세계의 데이터와 합성 데이터를 결합한 정교한 데이터 엔진을 구축해 모델의 인식 능력을 고도화했다. 학습 과정에는 정답이 있는 데이터를 통해 모델을 학습시키는 지도 미세 조정(SFT)과 보상을 통해 최적의 결과물을 찾게 하는 강화 학습(RL)이 적용되었다. 여기에 OPD라는 다단계 학습 레시피를 추가로 적용해 소형 모델의 한계를 극복했다.

여러 개의 모델을 순차적으로 연결하던 기존 파이프라인 방식에서 단일 모델 체제로 전환했다. 이는 모델별로 개별 업데이트와 최적화를 진행해야 했던 운영 부담을 줄여 관리 포인트를 획기적으로 감소시킨다. 단일 모델 도입은 시스템이 점유하는 메모리와 연산 자원을 최적화해 하드웨어 효율을 높이는 결과로 이어진다. 소형 모델의 경량성과 통합 구조의 단순함이 실제 운용 환경의 비용 절감과 성능 유지의 핵심 판단 기준이 된다.

단일 모델 구조를 통해 관리 포인트와 시스템 점유

단계가 많을수록 정교한 결과가 나온다는 믿음이 있다. 하지만 기존의 파이프라인 방식은 각 단계의 모델을 개별적으로 관리해야 하는 운영 부담이 컸다. 특히 앞 단계에서 발생한 오류가 뒤 단계로 그대로 전이되는 문제가 반복되며 전체 시스템의 안정성을 저해했다. OvisOCR2는 단일 모델로 모든 과정을 처리해 이러한 관리 포인트를 제거했다. 배포 풋프린트(footprint, 시스템 점유 자원)가 매우 작아 서버 비용을 낮추고 실시간 처리 속도를 높였다. 단일 모델 도입은 시스템 복잡도를 낮추는 실질적인 대안이 된다.

문서 이미지 입력 시 결과물은 마크다운(Markdown, 텍스트 기반 문서 작성 양식) 형태로 생성된다. 사람이 읽는 자연스러운 순서대로 텍스트를 배치하는 방식이다. 단순 텍스트 외에 복잡한 수식은 레이텍(LaTeX, 수식 편집 도구)으로 변환하고 표는 HTML 형식으로 출력한다. 차트나 이미지 영역은 바운딩 박스(Bounding box, 객체 위치를 나타내는 사각형 영역) 좌표를 포함한 HTML 태그로 표현한다.

이러한 다각적 출력 형식은 문서의 구조적 정보를 보존하는 데 집중한다. 수식과 표, 이미지 좌표를 각각 최적화된 포맷으로 구분해 출력함으로써 데이터의 정확도를 높였다. 단일 모델이 레이아웃 분석과 텍스트 추출을 동시에 수행해 데이터 손실을 최소화한 결과다. 이는 개별 모델을 연결하던 기존 파이프라인의 비효율을 제거하고 처리 시간을 줄인 성과다.

OCR과 레이아웃 분석을 통합한 엔드투엔드 방식은 OmniDocBench v1.6 96.58점이라는 수치로 효율성을 증명했다. Qwen3.5-0.8B 기반의 소형 모델이 SFT, RL, OPD 학습을 통해 SOTA를 달성하며 파이프라인의 복잡성을 제거한 결과다. 성능의 기준은 모델의 크기가 아니라 단일 구조를 통한 자원 최적화와 관리 효율로 이동한다. 가속 엔진과 필수 라이브러리 설치를 통해 시스템 점유 자원 감소 효과를 검증할 수 있다.