표 형식 데이터 예측을 위한 새로운 파운데이션 모델

데이터 분석가가 XGBoost 모델 하나를 만들기 위해 데이터 정제와 특성 공학, 하이퍼파라미터 튜닝을 반복하며 며칠을 소비하는 비효율을 어떻게 해결할 수 있을까. Google Research는 표 예측을 인컨텍스트 학습(in-context learning, 모델 가중치를 업데이트하지 않고 입력된 정보만으로 결과를 내는 방식) 문제로 처리하는 새로운 파운데이션 모델 TabFM을 제안했다. TabFM은 과거 사례와 타겟 데이터를 하나의 프롬프트로 전달받아 단 한 번의 순전파(Forward pass)만으로 예측값을 생성한다. 이를 통해 모델은 이전에 본 적 없는 새로운 표에 대해서도 즉각적인 예측이 가능하다.

학습 단계에서는 보안 위험이 있는 실제 기밀 CSV 파일을 사용하는 대신 구조적 인과 모델(SCMs, 변수 간의 인과 관계를 수학적으로 정의한 모델)을 도입했다. SCM 내에 다양한 랜덤 함수를 포함해 수억 개의 합성 데이터셋을 동적으로 생성하고, 이를 통해 모델을 사전 학습시켰다. 실제 데이터가 아닌 합성 데이터를 활용함으로써 표 특성들 사이에 존재하는 수학적 기본 원리를 정밀하게 학습하는 환경을 구축했다.

이러한 방식은 표 데이터 예측의 과정을 개별 모델 학습에서 범용 모델의 추론으로 전환한다. 특정 도메인의 데이터에 맞춰 모델을 매번 새로 학습시킬 필요 없이, TabFM이 사전 학습한 수학적 원리를 바탕으로 새로운 표의 구조를 즉시 파악해 결과를 내놓기 때문이다.

데이터를 그리드로 처리함으로써 기존 LLM이 가진 표 데이터

왜 표 데이터를 텍스트로 바꿀 때 정보가 사라질까? LLM(거대언어모델)은 표를 1차원 텍스트 문자열로 직렬화해 처리하는데, 이 과정에서 컨텍스트 제한과 토큰화 비효율성이라는 한계가 드러난다. 특히 표의 공간적 배치를 인식하지 못하는 구조적 맹점(structural blindness) 때문에 데이터 간의 관계를 놓치는 정보 손실이 발생한다. 텍스트 기반 모델이 표의 행과 열 관계를 단순한 문자열 순서로 인식하면서 발생하는 고질적인 문제다. TabFM은 데이터를 억지로 1차원 문자열로 만들지 않고 그리드로 취급함으로써 표의 구조적 무결성을 보존하는 방식을 택했다.

기술적으로는 TabPFN의 딥 피처 컨텍스트화와 TabICL의 효율적 압축 기술을 결합한 하이브리드 설계를 적용했다. 작동 원리는 행-열 교차 어텐션, 행 압축, 인컨텍스트 학습(ICL, 추가 학습 없이 프롬프트 내 예시만으로 과업을 수행하는 방식)의 세 가지 메커니즘으로 요약된다. 먼저 행과 열을 교차하며 어텐션을 수행해 특성 간의 복잡한 상호작용을 정밀하게 캡처한다.

이어지는 단계에서는 각 행의 정보를 밀집 벡터(데이터를 압축한 수치 표현)로 압축해 연산 효율을 높인다. 마지막으로 인과적 트랜스포머(causal Transformer, 이전 토큰만을 참조해 다음 값을 예측하는 모델)가 이 압축된 임베딩 시퀀스를 처리해 최종 예측값을 생성한다. TabFM은 데이터를 그리드로 처리하는 설계를 통해 기존 LLM이 겪던 표 데이터 처리의 구조적 한계를 극복했다.

확인해야 할 핵심 지점

정교한 모델을 만들려면 데이터 정제와 튜닝에 많은 시간을 쏟아야 한다는 믿음이 있다. TabFM은 학습되지 않은 새로운 표에 대해서도 단 한 번의 포워드 패스(데이터가 신경망을 한 번 통과하며 결과값을 내는 과정)만으로 예측값을 생성해 이 상식을 뒤집는다. 기존에 수주가 소요되던 파이프라인 엔지니어링 과정을 단일 API 호출 수준으로 줄였다. 엔터프라이즈 개발자와 AI 엔지니어는 모델 배포에 들어가는 시간을 획기적으로 단축할 수 있다. 가중치를 업데이트하는 반복 학습 없이 데이터 입력만으로 결과가 도출되는 구조 덕분이다.

이러한 효율성은 TabPFN과 TabICL의 강점을 결합한 하이브리드 설계에서 비롯된다. TabPFN은 소규모 표에서 제로샷 분류(학습하지 않은 데이터도 즉시 분류하는 능력) 성능을 증명하며 기초를 닦은 모델이다. 여기에 행 압축 기술을 통해 대규모 표 처리 효율을 극대화한 TabICL의 방식을 통합했다. 소규모 표의 정밀한 분류 능력과 대규모 표의 처리 효율성을 동시에 확보한 셈이다. TabFM은 이 설계를 통해 다양한 표 구조를 효과적으로 처리하면서도 확장 가능한 제로샷 예측을 구현했다.

데이터 분석가가 XGBoost 모델 하나를 만들기 위해 며칠씩 데이터 정제와 하이퍼파라미터 튜닝을 반복하던 관행이 단 한 번의 순전파로 대체된다. TabFM은 모델 가중치를 업데이트하지 않고 과거 사례와 타겟 데이터를 프롬프트로 전달하며, 행과 열의 교차 어텐션과 행 압축 기술을 통해 표의 구조적 무결성을 유지하며 연산량을 줄였다.

결국 학습 시간을 0으로 만드는 대가로 추론 시의 연산 비용과 지연 시간이 증가하는 새로운 경제적 트레이드오프를 어떻게 관리할지가 관건이다. 모델 최적화의 무게중심이 학습 단계에서 추론 효율성으로 완전히 이동한다.