로봇 학습 데이터 병목을 겨냥한 해법

사용자는 LLM이 내놓은 유창한 답변을 믿고 업무에 적용했다가 전혀 근거 없는 사실 관계 때문에 곤혹스러운 상황을 겪는다. 답변이 매끄러울수록 사용자는 이를 사실로 믿기 쉽지만, 이는 모델이 언어를 실제로 이해하지 못해 발생하는 환각(hallucination) 현상이다. 벤더(Bender)와 게브루(Gebru)는 인터넷에서 긁어모은 방대한 데이터를 더 큰 규모의 모델에 학습시킬수록, 겉으로는 유창해 보이지만 실제 언어 이해력은 없는 시스템이 만들어진다고 경고했다. 이들은 이러한 시스템을 확률적 앵무새(stochastic parrots)라고 불렀다. 학습 데이터에 존재하는 통계적 패턴을 높은 확신을 가지고 반복할 뿐, 실제로는 아무런 이해 없이 출력물을 내놓기 때문이다. 통계적 확률에 의존하는 방식은 논리적 추론이 아니라 단순한 패턴 매칭에 가깝다. 결국 유창함이라는 외피가 개발자와 사용자로 하여금 구조적으로 신뢰할 수 없는 출력을 믿게 만드는 함정이 된다.

학습 데이터의 오염 문제는 최근 구체적인 수치로 증명됐다. 2024년 연구에 따르면 현재 영어 웹 콘텐츠의 57%가 AI가 생성했거나 AI의 보조를 받아 작성된 결과물이다. 이렇게 생성된 합성 콘텐츠가 다시 AI의 학습 데이터로 유입되면서 모델의 지능이 퇴보하는 모델 붕괴(model collapse) 현상이 나타나고 있다. 특히 데이터 확보가 어려운 저자원 언어에서 이 문제가 심각하게 작용한다. AI가 만든 합성 콘텐츠 자체가 해당 언어에서 이미 낮은 품질을 보이는데, 이것이 다시 학습 데이터로 쓰이면서 번역 품질이 실제로 저하되는 현상이 문서화되었다. 무분별한 데이터 확장이 오히려 모델의 성능을 깎아먹는 역설적인 병목 현상이 실재하는 셈이다.

기존 방식과 달라진 지점

연구자 한 명이 쓴 논문 한 편이 직장 상실로 이어진 사례가 있다. 2020년 12월 팀닛 게브루(Timnit Gebru)는 구글로부터 이메일을 통해 해고를 통보받았다. 그녀가 에밀리 벤더(Emily Bender) 및 워싱턴 대학교 소속 연구원, 그리고 두 명의 다른 연구원들과 함께 작성한 "On the Dangers of Stochastic Parrots"라는 논문의 철회를 거부했기 때문이다. 구글은 해당 논문을 철회하거나 저자 명단에서 그녀의 이름을 삭제할 것을 요구했으나, 게브루는 이를 끝내 거부했다. LLM의 위험성을 경고하려는 학술적 시도가 기업의 관리 방침과 정면으로 충돌하며 발생한 결과다.

모델의 규모를 무한히 확장해 성능을 끌어올리려는 경쟁은 환경 파괴라는 구체적인 수치로 증명됐다. 단일 LLM(대규모 언어 모델) 하나를 학습시키는 과정에서 발생하는 탄소 배출량은 자동차 5대가 평생 동안 내뿜는 양과 맞먹는 수준이다. 이러한 인프라 확장의 여파는 글로벌 빅테크 기업의 배출량 통계에 그대로 반영됐다. 2019년 대비 2024년 구글의 탄소 배출량은 48% 급증했으며, 마이크로소프트 역시 29%의 증가율을 기록했다. 두 회사 모두 AI 인프라 확충을 배출량 증가의 핵심 원인으로 명시적으로 꼽았다. 성능 개선을 위해 선택한 규모의 확장이 지구 환경에는 직접적인 물리적 손실로 작용하고 있다.

로봇 학습 데이터 병목을 겨냥한 해법, 추가 쟁점

채용 담당자가 이력서 더미에서 특정 단어를 이유로 지원자를 걸러내는 일은 예전에는 명백한 인사 규정 위반이었다. 그런데 이제 그 판단을 모델이 한다. 아마존이 2018년 폐기한 채용 알고리즘은 '여성'이라는 단어가 포함된 이력서에 체계적으로 불이익을 줬다. 이 모델은 인터넷 규모 학습 데이터에 지배적 관점이 과잉 대표되고 소수자 관점이 과소 대표된 현실을 그대로 흡수했을 뿐 아니라, 그 편향을 증폭시켰다. 같은 해 애플 카드의 신용 알고리즘은 재정 프로필이 동일한 부부에게서 아내에게 남편보다 10배 낮은 신용 한도를 부여하는 결과를 냈다.

이런 차별적 출력은 모델이 단순히 통계적 패턴을 반복하는 데서 비롯되지 않는다. 학습 데이터 자체에 대한 실질적 감사가 불가능할 만큼 데이터셋 규모가 커졌다는 점이 더 근본적인 문제다. 2023년 연구자들은 스테이블 디퓨전(Stable Diffusion) 등 주요 이미지 생성 모델 학습에 사용된 LAION-5B 데이터셋에서 수천 장의 아동 성착취물(CSAM)을 발견했다. 이 데이터셋을 사용해 모델을 학습시킨 기업들은 그런 유해 콘텐츠가 포함된 사실을 사전에 알 방법이 없었다. 58억 개 이미지-텍스트 쌍을 사람이 일일이 검사하는 것은 처음부터 물리적으로 불가능한 작업이었기 때문이다.

데이터 거버넌스가 제품의 생존 가능성을 결정하는 기준으로 옮겨간 지점이 여기다. 단순한 성능 개선으로는 해결되지 않는다. 학습 데이터의 편향을 흡수하고 증폭시키는 구조 자체를 통제할 수 있는 윤리적 설계와 감사 체계 없이는, 상용 서비스의 장애는 반복될 수밖에 없다.

사용자가 겪는 LLM의 환각과 편향은 단순한 오류가 아니다. 2020년 팀닛 게브루가 경고한 환각, 편향, 환경 파괴, 데이터 감사 불가, 모델 붕괴라는 다섯 가지 위험이 실제 서비스 장애와 수치로 증명된 결과다.

통계적 패턴만 반복하는 확률적 앵무새의 한계와 AI 생성 콘텐츠가 다시 학습되는 모델 붕괴 현상은 데이터 확장의 역설을 보여준다. 이제 제품의 생존은 단순한 성능 개선이 아니라 데이터 거버넌스와 윤리적 설계라는 기초 체력에 의해 결정된다. AI의 완성도는 파라미터의 숫자가 아니라 데이터의 투명성과 통제 가능성에서 갈린다.