PRX 모델을 위한 데이터셋 구축 원칙과 전략

고화질의 AI 이미지를 얻기 위해 사용자는 정교한 프롬프트를 입력하지만, 모델을 만드는 엔지니어는 데이터의 완벽함보다 다양성이라는 비용 효율에 집중한다. PRX 7B 모델의 사전 학습 단계에서는 개별 이미지의 미적 완성도를 높이는 것보다 데이터의 양적 규모와 분포의 넓이를 확보하는 전략을 택했다.

사전 학습(Pre-training)은 모델이 시각적 개념과 객체, 장면의 구성, 조명 방식 등 이미지에 담길 수 있는 광범위한 범위를 학습하는 과정이다. 이 단계에서 미적 기준을 엄격하게 적용해 필터링하면 데이터 분포가 좁아져, 모델이 회복할 수 없는 구성의 다양성과 개념적 범위를 상실하게 된다. 따라서 사전 학습으로 광범위한 시각적 개념을 확보하고, 세부적인 미적 기준은 이후 소규모의 정제된 데이터셋을 사용하는 미세 조정(Fine-tuning)과 선호도 정렬 단계에서 맞춘다.

데이터 품질 관리는 고품질 캡셔닝(Captioning)을 통해 수행한다. VLM(Vision Language Model)으로 이미지 내의 모든 요소를 정확하게 묘사하는 긴 캡션을 생성했다. 캡션이 충실하면 이미지에 포함된 스크린샷, 광고, 로고, 텍스트 같은 요소들이 단순한 노이즈가 되지 않고, 모델이 조건부로 제어 가능한 속성으로 학습한다. 정확한 설명은 무작위로 생성될 수 있는 불필요한 요소를 사용자가 프롬프트로 제어하거나 제거할 수 있는 정보로 변환한다. 이에 따라 필터링 작업은 완전히 사용할 수 없는 데이터만 제거하는 수준으로 가볍게 유지했다.

PRX 7B 모델의 데이터셋은 공개 데이터와 내부 데이터를 혼합하여 구축했다. 품질 필터링, 중복 제거, NSFW 및 개인정보 필터링이 완료된 기존 데이터셋을 활용하고, 소스마다 다른 데이터 형태를 공통 형식으로 통합했다. 이는 7B 규모의 모델을 빠르게 학습시키기 위해 절대적인 최적의 데이터셋보다 효율적인 시작점을 확보하는 데 집중한 결과다.

데이터 파이프라인의 핵심: Lance와 MDS의 역할 분담

수십억 개의 행을 가진 대규모 이미지 데이터셋을 다룰 때, 빠른 검색 능력과 끊김 없는 학습 서버 전송 능력은 서로 충돌한다. PRX 7B 모델 학습 파이프라인은 이 문제를 해결하기 위해 Lance와 MDS라는 두 가지 포맷을 분리해 운용한다.

Lance는 수십억 행의 데이터를 처리하기 위해 설계된 컬럼형 데이터 포맷이다. 엔지니어는 이 포맷을 통해 방대한 데이터 속에서 특정 조건의 이미지를 빠르게 찾거나 벡터 검색(데이터의 의미적 유사성을 수치로 계산해 찾는 방식)을 수행한다. 데이터 탐색과 빌드 단계에서 Lance를 사용하면 수억 건의 테이블을 대화형으로 조회하고 인덱싱할 수 있어, 학습 전 데이터 분포 확인 작업이 수월해진다.

반면 학습 단계에서는 MDS(Mosaic Data Shards)를 활용한다. MDS는 S3나 GCS 같은 객체 저장소에서 데이터를 직접 스트리밍할 수 있으며, 여러 데이터셋을 섞거나 셔플링하는 작업에 최적화되어 있다. 유지보수 비용이 낮고 분산 학습 환경에서 높은 성능을 내는 것이 특징이다.

두 포맷의 역할 분담은 데이터 수정의 유연성 차이에서 온다. MDS는 구조가 경직되어 있어 새로운 열을 추가하거나 서브셋을 만들려면 전체 데이터셋을 다시 스캔하고 작성해야 한다. 반면 Lance는 조건부 푸시다운(필요한 데이터만 선택적으로 읽어오는 기술)과 스칼라 인덱스가 지원되어 피처 엔지니어링과 데이터 큐레이션에 적합하다. 결과적으로 Lance로 데이터를 정교하게 빌드하고, 최종 확정된 데이터만 MDS로 변환해 학습 서버에 스트리밍한다.

Lance 운용 시 성능의 핵심은 파편화(Fragmentation) 관리다. Lance 테이블은 여러 조각으로 나뉘어 저장되는데, 조각 수가 너무 많으면 스캔 시 모든 파일을 열어야 하므로 쿼리 속도가 급격히 떨어진다. 메타데이터 작업의 시간 복잡도가 행의 개수가 아닌 조각의 개수에 비례하기 때문에, 적절한 조각 크기를 유지하는 것이 쿼리 성능을 결정한다.

텍스트 인코더 Qwen3-VL 도입과 학습 효율성

PRX 팀은 텍스트 인코더를 T5Gemma에서 Qwen3-VL로 교체하며, 연산 비용을 일부 감수하더라도 설계의 유연성을 확보하는 전략을 선택했다. 이전 학습에서는 텍스트 잠재 표현(텍스트를 모델이 이해하는 수치 벡터로 변환한 값)을 미리 계산하여 MDS에 바이트 형태로 저장해 사용했으나, 이번에는 학습 루프 내에서 텍스트 잠재 표현을 실시간으로 계산하는 방식을 채택했다.

실시간 계산 방식은 학습 처리량에 비용을 발생시키지만, 7B 규모의 모델에서 텍스트 인코더가 차지하는 연산 비중은 매우 낮다. 실제 측정 결과 처리량 손실은 약 3~4% 수준이었으며, 이는 30일 학습 기준 약 1일 정도의 시간이 추가로 소요되는 수준이다. PRX와 같은 대규모 모델에서는 충분히 감내할 수 있는 수치다.

이러한 계산 방식의 전환은 저장 인프라의 물리적 구성에 영향을 주었다. 사전 계산 단계를 생략함으로써 MDS 샤드의 용량이 크게 감소했고, 덕분에 전체 사전 학습 데이터셋을 SLURM 클러스터의 SSD 기반 공유 파일 시스템에 모두 저장할 수 있게 됐다. 네트워크 대역폭의 제약 없이 SSD의 빠른 읽기 속도를 활용함으로써 데이터 로딩 효율을 높였다.

또한 텍스트 인코더 교체 시 발생하는 데이터 재작성 비용을 없앴다. 잠재 표현을 미리 저장하는 방식에서는 인코더 모델을 변경할 때마다 수 테라바이트의 데이터를 다시 생성해야 하지만, 실시간 계산 방식을 도입하면 데이터셋 수정 없이 인코더 모델만 교체하여 즉시 학습에 투입할 수 있다. 이는 Qwen3-VL로 전환하는 과정에서 유지보수 공수를 최소화하는 실질적인 판단 기준이 됐다.

현장에서 달라지는 비용과 판단

PRX 7B 모델 학습팀은 모든 이미지를 JPEG 품질 92로 인코딩하여 저장하는 전략을 택했다. 무손실 포맷인 PNG와 비교했을 때 저장 공간을 3배에서 10배까지 절약하며 인프라 비용을 낮췄다. 실제 환경의 이미지들은 이미 여러 번 JPEG 압축을 거친 상태이므로, 품질 92 설정에서의 첫 번째 재인코딩은 시각적으로 거의 인지되지 않았으며, 10회 반복 인코딩 후에도 이미지는 사람이 인지할 수 없는 범위 내에 머물렀다.

학습 데이터 포맷이 결과물에 미치는 영향은 비교 실험으로 검증했다. 1024px 해상도에서 동일한 이미지셋을 사용해 PNG 학습 모델과 JPEG 품질 92 학습 모델을 각각 훈련시킨 결과, 내부 측정 지표상 성능이 동일하게 나타났으며 생성된 이미지의 시각적 품질 역시 육안으로 구분하기 어려웠다. 양자화 테이블을 매칭해 압축 흔적을 분석했을 때도 두 모델 간의 차이는 통계적으로 유의미하지 않았다.

다만 아티팩트(압축 과정에서 발생하는 시각적 노이즈)에 극도로 민감한 특수 목적 모델은 여전히 PNG를 사용한다. 대표적으로 Photoroom의 AI Shadows 모델은 정밀한 그림자 경계와 계조 표현이 중요하므로 무손실 포맷을 유지해 데이터 순도를 높였다. 결과적으로 범용적인 시각 개념을 배우는 7B 규모의 모델에는 JPEG 92가 충분한 품질을 제공하며, 고정밀 특수 모델에만 PNG를 사용하는 이원화된 데이터 파이프라인 설계가 효율적이다.

대규모 데이터 엔지니어링을 위한 실무적 제언

데이터셋 규모가 수십억 행에 달할 때, 모든 데이터를 한 번에 완벽하게 정제하기보다 빠른 탐색과 유연한 재구성이 우선되어야 한다. PRX 팀은 데이터 구축과 탐색을 위한 Lance와 분산 학습을 위한 MDS를 분리해 데이터의 생성과 소비를 독립적으로 운영함으로써 파이프라인의 확장성을 확보했다.

데이터 구축 과정에서는 Ray Data(분산 데이터 처리를 위한 파이썬 라이브러리)를 활용해 클러스터 환경에서 Lance 테이블을 병렬로 생성하여 구축 속도를 높였다. 이때 데이터 조각인 프래그먼트의 크기를 적절히 유지하여 파편화를 방지하는 것이 쿼리 효율의 핵심이다.

또한 데이터 파이프라인이 특정 모델 구조에 종속되지 않도록 설계하면, 텍스트 인코더를 교체하거나 학습 전략을 수정할 때마다 테라바이트 단위의 데이터를 재작성할 필요가 없어진다. 데이터 엔지니어링은 현재의 요구사항을 충족하면서도 향후 발생할 실험적 변화를 수용할 수 있는 유연한 구조를 지향해야 한다.

결국 대규모 이미지 모델 학습의 핵심은 무조건적인 고화질 추구보다, 모델의 목적과 규모에 맞춰 저장 포맷과 전송 방식을 유연하게 결정하는 설계 능력에 있다. 범용 시각 개념 학습에는 JPEG 92 품질과 Lance, MDS의 조합만으로도 충분한 성능을 확보할 수 있으며, 이는 저장 효율과 학습 속도의 균형을 맞춘 실무적인 선택이다.

대규모 데이터셋을 다루는 엔지니어라면 도구의 절대적인 성능보다, 워크플로우의 각 단계(탐색-빌드-학습)에 최적화된 포맷을 적재적소에 배치하는 전략에 집중해야 한다.