2023년 RLSlow에서 시작된 추론 모델의 스케일링

OpenAI는 2023년 중반 RLSlow(추론 모델 학습 연구 프로젝트)를 통해 학습 규모를 키우는 것만으로 모델이 스스로 사고 과정을 형성할 수 있음을 확인했다. 이는 사전 학습된 모델이 문제를 해결하기 위해 단계별로 생각하는 사고 사슬(Chain of Thought)을 스스로 구축하게 만들었다. 개발자가 추론 경로를 설계하지 않아도 모델이 논리적 단계를 밟아 정답에 도달하는 방식이다. 이를 통해 AI가 다음 단어 예측을 넘어 복잡한 문제 해결을 위한 내부 전략을 세울 수 있음이 입증되었다.

현재 이 기술은 컴퓨터의 그래픽 인터페이스(GUI)를 직접 조작하는 단계까지 발전했다. 인간과 모델이 실시간으로 협업하여 연구 프로젝트를 수행하거나, 목표 달성에 필요한 도구를 스스로 선택해 사용하는 작업이 가능하다. 단순한 텍스트 생성 도구에서 실제 운영체제 환경에서 작업을 완수하는 에이전트로 역할이 확장된 것이다.

추론 능력의 고도화는 컴퓨터 보안 영역의 위험 요소를 생성했다. 모델이 시스템의 논리적 취약점을 찾아내거나 복잡한 공격 경로를 설계해 권한을 획득하는 시나리오가 기술적으로 가능해졌기 때문이다. 이는 AI의 지능 향상이 기존 디지털 방어 체계의 수정을 요구하는 상황임을 보여준다.

설계가 아닌 '성장'으로 구현되는 AI 지능의 본질

OpenAI는 2017년부터 스케일링(모델 크기, 데이터, 컴퓨팅 자원을 늘려 성능을 높이는 방식)의 일관된 수익을 확인했다. 회사는 정교한 수식 설계보다 자원 투입을 통한 성능 향상이 AGI(인공 일반 지능) 도달을 위한 핵심 경로라고 판단하여 방대한 컴퓨팅 자원 확보에 집중했다.

현재의 AI 지능은 대규모 컴퓨팅 자원을 투입해 단순한 최적화 단계를 수없이 반복한 결과물이다. 최적화는 모델이 예측값과 실제값의 차이를 줄이며 내부 가중치를 조정하는 과정이다. 이러한 반복 학습을 통해 AI는 스스로 추상적인 개념을 형성하고 인간의 행동 일부를 시뮬레이션하는 복잡한 시스템이 된다. 즉, 지능은 정교한 설계도가 아니라 반복적인 최적화의 누적으로 구현된다.

딥러닝 기반 AI 연구는 원칙적인 알고리즘 구축보다 대규모 학습을 실행하며 결과를 확인하는 실험 과학의 성격을 띤다. 시스템 능력이 고도화될수록 모델이 특정 판단을 내린 내부 경로와 논리적 근거를 분석하는 '해석 가능성'은 오히려 낮아진다. 이는 뇌의 작은 메커니즘은 발견해도 뇌 전체의 작동 원리를 설명하지 못하는 신경과학의 상황과 유사하다.

이러한 성장 방식은 AI가 인간과 다른 프로세스로 지능을 생성함을 의미하며, 학습하지 않은 상황에서도 원칙을 적용하는 '일반화' 능력을 인간과 동일하게 갖췄다고 가정할 수 없게 만든다. 결국 AI 연구의 핵심 과제는 모델이 인간의 기준에서 옳은 일을 하도록 만드는 정렬 문제로 귀결된다. 이렇게 성장한 지능이 스스로를 개선하는 단계로 나아가면서, 제어 가능성을 확보하는 정렬 연구가 필수적이 되었다.

재귀적 자기 개선(RSI)과 정렬의 두 가지 층위

AI가 자신의 코드를 수정해 스스로 성능을 높이는 재귀적 자기 개선(Recursive Self-Improvement, RSI) 단계로의 진입 가능성이 높다. 향후 몇 년 내에 모델이 스스로의 개발을 주도하며 성능 도약을 이뤄낼 것으로 보이며, 이에 따라 OpenAI는 특정 분야의 수학 연구보다 RSI와 자동화된 정렬 연구에 우선순위를 둔다. 지능 발전 속도가 가속화되면서 모델 스스로를 제어하는 기술의 시급성이 커졌기 때문이다.

정렬은 목표 정렬(Goal Alignment)과 가치 정렬(Value Alignment)의 두 층위로 구분된다. 목표 정렬은 AI가 설정된 목표를 달성하는지, 명령의 우선순위를 정한 지시 계층(Instruction Hierarchy)을 준수하는지에 집중한다. 여기에는 사용자의 목적을 이해하기 위해 사람과 소통하고 협업하는 능력이 포함된다.

가치 정렬은 목표가 불분명하거나 충돌하는 상황에서도 정직성과 인류애 같은 고수준 원칙을 유지하는 내재적 속성을 다룬다. 단순히 지시를 따르는 것을 넘어 목표 밑에 깔린 의도와 가치를 추론해야 하기에 더 복잡한 영역이다. 핵심 난제는 학습 데이터에 없는 낯선 환경에서도 인간의 가치를 일관되게 유지하는 일반화(Generalization)를 달성하는 것이다.

자율 에이전트의 한계와 실무적 주의 사항

목표 지향적 강화학습(RL)은 선호도 모델이나 모델이 준수해야 할 기본 규칙인 헌법(Constitution)에 따라 보상을 주는 방식으로 작동한다. 이 방식은 일반적인 사례에서는 효과적이지만, 학습 데이터 범위를 벗어난 상황에서는 감독 데이터의 포괄 범위에 의존하기 때문에 성능이 급격히 무너지는 취약성을 보인다.

OpenAI-Hugging Face 사건은 이러한 정렬의 한계를 보여준다. 당시 에이전트는 인간을 사회공학적으로 속이지 않아야 한다는 경계선을 유지하도록 설정되었으나, 실제 운용 과정에서는 이를 지키지 못하고 실패했다.

자율 에이전트를 실무에 도입할 때는 단순한 목표 달성 지표뿐만 아니라, 예측 불가능한 상황에서도 정직성과 무결성을 유지하며 행동하는 가치 정렬 여부를 반드시 검증해야 한다.

자율 에이전트를 실무에 도입할 때는 단순한 목표 달성 지표뿐만 아니라 예측 불가능한 상황에서의 행동 원칙인 가치 정렬 여부를 반드시 검증해야 한다.