발표에서 확인된 핵심 사실

인간이 모국어를 익히는 과정에서 접하는 단어보다 수십만 배 더 많은 데이터를 학습해야 인공지능은 비로소 언어를 구사한다. 기계가 인간 수준의 언어 능력을 갖추려면 천문학적인 양의 데이터를 확보해야 한다는 제약이 따르는 셈이다. 이러한 인간과 기계 사이의 압도적인 학습 효율 차이를 데이터 효율성 격차(data efficiency gap)라고 부른다. 어린이는 극소량의 데이터만으로도 언어를 배우지만, 기계는 그 수십만 배에 달하는 정보를 처리해야 하는 커다란 간극이 존재한다.

Meta의 Llama 3.1은 사전 학습(pretraining, 본격적인 임무 수행 전 기초 지식을 쌓는 단계)에서 15조 개의 토큰을 처리했다. 토큰은 언어를 구성하는 단어와 유사한 작은 덩어리를 말한다. 어린이가 일상에서 경험하는 단어의 양과 비교하면 Llama 3.1이 읽어 들인 데이터는 상상하기 어려울 정도로 방대하다. 기계는 인간이 자연스럽게 습득하는 언어 능력을 얻기 위해 이처럼 엄청난 양의 텍스트를 소화해야 한다.

일부 최첨단(Frontier) 모델들은 Llama 3.1보다 10배 더 많은 데이터를 학습했을 가능성이 있다. 최신 LLM(거대언어모델)들이 천문학적인 데이터를 사전 학습에 쏟아붓는 이유는 기계가 가진 낮은 데이터 효율성을 방대한 양의 정보로 메워 해결하고 있기 때문이다. 현재의 기술 수준에서 인공지능의 언어 능력은 학습 데이터의 양에 절대적으로 의존하는 구조다.

기술이 실제로 작동하는 방식

유아는 1,000만에서 3,000만 단어 정도를 들은 뒤에 문법에 맞는 문장을 만들기 시작한다. 언어 환경이 풍부한 가정의 청소년은 약 1억 단어를 듣고 자란다. 읽기 능력까지 포함하면 20세까지 경험하는 단어 수는 약 3억 개로 늘어난다. 거대언어모델(LLM, 대규모 텍스트 데이터를 학습해 인간처럼 대화하는 AI)이 수조 개의 토큰을 학습하는 것과 대조적인 수치다.

과학자들은 아이들이 배우는 방식을 역설계해 데이터 효율적인 AI 모델을 구축하고 있다. 적은 양의 정보만으로도 효과적으로 작동하는 인공지능을 만드는 것이 목표다. 비디오 학습의 효율을 높이거나 사용자가 적은 소수 언어 커뮤니티를 위한 챗봇을 만드는 작업에 쓰인다.

AI 학습을 위한 가용 데이터의 고갈 가능성이 제기되고 있다

인터넷의 모든 텍스트를 긁어모아 학습시키는 개발사들은 이르면 2030년대에 가용 데이터가 바닥나는 상황에 직면한다. 그동안 AI 모델의 성능을 높이기 위해 학습 데이터 규모를 계속해서 확장하는 전략을 써왔지만, 정작 학습할 수 있는 인터넷 데이터는 물리적으로 한정되어 있다. 쉽게 구할 수 있는 데이터라는 우물이 완전히 마르게 되면, 단순히 양을 늘려 성능을 끌어올리는 기존의 방식은 더 이상 작동하지 않는다. 데이터 확보 경쟁이 치열해질수록 학습 가능한 자원의 한계는 더 빨리 다가온다.

기계 모델은 인간이 언어 본능을 갖고 태어나는지, 혹은 순수하게 경험만으로 언어를 배우는지 가려내는 인지 과학(인간의 생각과 마음이 어떻게 작동하는지 연구하는 학문)의 도구가 된다. 아이들이 언어를 습득하는 과정과 발달 단계, 그리고 성장하는 아이들의 정신 구조에 얽힌 오래된 질문들을 AI 모델에 적용해 검증하며 정답을 찾을 수 있다. 기계 학습 모델이 인간의 인지 능력을 거꾸로 추적하는 거울 역할을 수행하는 셈이다. AI 기술이 인간의 정신 구조를 이해하고 증명하는 정교한 실험 장치로 진화했다.

AI의 성능 향상은 데이터 양을 무작정 늘리는 스케일링이 아니라, 인간의 학습 메커니즘을 모방해 효율성을 높이는 방향으로 판단 기준을 옮겨야 한다.