아타리부터 알파폴드까지, 15년의 게임 AI 연구 성과

2024년 노벨 화학상은 게임이라는 제약된 환경에서의 연구 기초를 적용해 단백질 구조 예측 문제를 해결한 AlphaFold가 수상했다. 게임 환경에서 지능을 탐구한 결과가 과학적 난제 해결이라는 실질적 도구로 전환된 사례다. 2010년 딥마인드 설립 이후 게임은 범용 지능을 이해하기 위한 핵심적인 연구 환경으로 활용됐다.

2015년 딥마인드는 픽셀 데이터를 직접 학습하는 심층 신경망인 DQN(Deep Q-Network)을 통해 49종의 아타리 2600 게임을 마스터했다. 퐁(Pong)부터 브레이크아웃(Breakout), 스페이스 인베이더(Space Invaders)까지 게임별 전용 엔지니어링 없이 화면 픽셀만으로 학습을 수행했다. 당시 Nature에 발표된 DQN 논문은 현대 심층 강화학습(Deep Reinforcement Learning, 시행착오를 통해 보상을 최대화하는 학습 방식)의 시대를 여는 촉매제가 됐다.

2016년 AlphaGo는 이세돌 9단을 꺾었으며, 이후 등장한 AlphaGo Zero는 인간의 데이터 없이 자가 학습(Self-play, AI가 스스로와 대국하며 학습하는 방식)만으로 모든 이전 버전을 넘어섰다. AlphaZero는 하나의 알고리즘으로 체스, 쇼기, 바둑을 통합해 마스터했고, MuZero는 게임 규칙을 미리 알지 못하는 상태에서 학습을 진행했다. 이는 AI가 주어진 규칙을 따르는 수준에서 스스로 규칙을 찾아내는 단계로 진화한 결과다.

2019년 AlphaStar는 실시간 복잡성과 불완전한 정보가 공존하는 스타크래프트 II에서 그랜드마스터 레벨에 도달했다. 15년간의 게임 AI 연구는 복잡한 환경에서의 최적 의사결정 능력을 확보한 기록이며, 이는 화면 픽셀과 입력 장치만으로 동작하는 범용 에이전트 SIMA의 기반이 됐다.

점수 최적화에서 지시 수행으로, SIMA 2의 작동 방식

게임의 고득점 달성을 목표로 규칙을 학습하는 대신, SIMA 2는 사용자의 자연어 지시를 이해하고 수행하는 범용 에이전트로 동작한다. SIMA(Scalable Instructable Multiworld Agent, 확장 가능한 지시 수행 멀티월드 에이전트)는 게임의 API(응용 프로그램 인터페이스)나 소스 코드에 접근하지 않는다. 플레이어가 모니터로 보는 화면 픽셀 데이터와 텍스트 형태의 자연어 지시만을 입력값으로 사용하며, 출력값은 키보드와 마우스 컨트롤로 제한된다. 게임 내부의 수치나 상태 값을 읽지 않고 오직 시각 정보와 언어만으로 행동을 결정하는 방식이다.

이 시스템은 구글 딥마인드의 프론티어 모델인 Gemini를 기반으로 설계되어 실시간 추론과 대화를 수행하며 사용자를 돕는다. Gemini의 멀티모달 능력을 활용해 화면 속 상황을 분석하고, 사용자의 요청에 맞는 최적의 조작법을 실시간으로 찾아낸다. 실제 적용 환경으로는 No Man's Sky, Valheim, Hydroneer 같은 3D 연구 환경 및 상용 게임들이 활용되었으며, 다양한 장르의 게임에서 인간과 유사하게 조작한다.

게임 개발자는 기존의 게임 코드를 수정하거나 새로운 API를 설계할 필요가 없다. SIMA 2는 이미 출시된 게임의 외부 인터페이스를 그대로 사용하므로, 게임 엔진의 수정 없이도 AI 기능을 즉시 결합할 수 있다. 게임의 내부 로직이나 규칙서를 학습하지 않고 화면만 보고 행동하므로, 새로운 가상 세계에 투입되었을 때 별도의 재학습 없이도 지시를 수행한다.

게임 코드 수정 없는 AI 도입이 가져올 실무적 변화

Fenris Creations와 EVE Universe가 최근 새로운 연구 파트너십을 체결하며 AI 연구를 위한 게임 포트폴리오를 확장하고 있다. Hello Games, Coffee Stain Studios, Foulball Hangover 등 주요 스튜디오들이 협업에 참여했다. 딥마인드는 게임 개발사와 직접 협력해 에이전트가 더 복잡한 과제를 수행하도록 유도하며, 여기서 얻은 학습 능력을 향후 현실 세계의 문제 해결에 활용하는 것을 목표로 한다.

개발 단계에서는 코드 커밋(commit, 변경 사항을 저장소에 기록하는 작업)마다 게임 환경이 변하는 상황에서 강건한 QA(Quality Assurance, 품질 보증) 테스트를 수행한다. 기존의 자동화 테스트는 환경이 바뀔 때마다 테스트 스크립트를 다시 작성해야 하는 병목이 있었다. 하지만 화면 픽셀과 자연어 지시만으로 동작하는 에이전트는 코드 수정 없이도 변경된 환경에서 테스트를 지속할 수 있어 개발 공수를 줄인다.

출시 이후에는 스크립트 없이 게임 세계를 이해하고 반응하는 적응형 NPC(Non-Player Character, 비플레이어 캐릭터) 구현이 가능하다. 새로운 콘텐츠가 추가되거나 플레이어가 개발자가 예상하지 못한 돌발 행동을 해도 실시간으로 적응한다. 별도의 재스크립팅 과정 없이 새로운 상황에 대응하는 능력을 통해 플레이어에게 매번 다른 경험을 제공하며, 고정된 대사와 행동 패턴을 반복하던 기존 NPC의 제약을 제거한다.

게임 소스 코드에 접근하지 않고 화면 정보만으로 조작하는 방식은 기존 게임의 엔진이나 내부 로직 수정 없이 AI 에이전트를 즉시 도입할 수 있는 기술적 가능성을 확인시켜 준다.