정적 환경의 한계를 넘는 자율 에이전트의 학습과 검증

Florent Delgrange는 AAMAS 2026에서 'Foundation World Models for Agents that Learn, Verify, and Adapt Reliably Beyond Static Environments' 논문으로 Best Blue Sky Paper Award를 수상했다. 그는 자율 에이전트가 환경 변화 속에서도 신뢰성을 유지하며 학습을 지속하는 방법론을 제시했다. 실제 환경은 학습 단계와 달리 목표가 변하고 조건이 바뀌며, 특히 멀티 에이전트 시스템에서는 개별 에이전트의 적응 행동이 서로의 환경을 지속적으로 변화시키는 특성을 가진다.

기존의 강화학습(RL)은 시행착오를 통해 복잡한 환경으로 확장할 수 있지만, 에이전트가 보상 수치 극대화에만 집중하여 보상 함수 설계의 허점을 악용하는 문제가 발생한다. 이는 높은 보상값이 기록되더라도 실제 안전 요구사항이나 협력 조건이 충족되었는지를 보장하지 못하는 결과로 이어진다. 반면 반응 합성(Reactive Synthesis)은 환경 모델과 논리적 행동 기술서를 바탕으로 '설계에 의한 정확성(correct by design)'을 구현하지만, 고정된 명시적 모델이 필요하다는 제약 때문에 변화하는 개방형 세계에 적용하기 어렵다.

Delgrange는 이러한 두 전통을 하나의 루프로 통합하는 연구 아젠다를 제안했다. 파운데이션 월드 모델은 경험을 통해 학습되되 검증기가 추론할 수 있는 구조를 갖춰야 한다. 에이전트가 정책을 학습하며 모델을 업데이트하면, 검증기는 추상화의 신뢰성을 측정하고 정책이 사양을 여전히 만족하는지 확인한다. 검증기의 피드백은 안전하지 않은 업데이트를 거부하거나, 불확실한 영역의 데이터를 요청하며, 모델의 수정을 트리거하는 역할을 수행한다.

신뢰 범위 정의를 위한 파운데이션 월드 모델의 3가지 핵심 속성

파운데이션 월드 모델은 단순한 크기의 확장이 아니라 작업, 정책, 에이전트 집단의 변화 속에서도 유지되는 지속적이고 구조화된 모델을 지향한다. 이를 위해 모델은 Calibration(교정), Compositionality(구성성), Semantic Queryability(의미론적 질의 가능성)라는 세 가지 속성을 갖춰야 한다.

첫째, Calibration은 학습된 모든 추상화에 오차나 커버리지 측정값을 부여하여 정형 결론이 유효한 범위를 명시한다. 에이전트는 이 측정값을 통해 자신의 예측이 어느 지점에서 유효한지 인지하고, 신뢰할 수 없는 영역에서는 임의의 판단 대신 추가 데이터를 수집하는 전략을 취한다. 둘째, Compositionality는 검증된 지역적 역학, 행동, 인증서를 새로운 작업 조립 시 재사용 가능하게 만든다. 이는 전체 시스템을 매번 다시 검증하는 대신, 이미 인증된 모듈들의 연결 부위와 전이 조건만 확인함으로써 검증 효율을 극대화한다.

셋째, Semantic Queryability는 정형 요구사항이나 고수준 지시어를 통해 적절한 보상 모델, 작업 특화 추상화, 정책 사전 확률을 적은 경험으로 도출하게 한다. 사용자가 일상어로 지시를 내리면 모델은 이를 논리적 사양으로 변환하여 상태 공간에 매핑한다. 이러한 속성들이 결합된 월드 모델은 학습, 계획, 검증의 공통 기질(substrate)이 되어 에이전트가 자신의 역량 한계를 식별하고 증거를 수집하며 특정 행동의 인증 가능 여부를 설명하는 기반이 된다.

예측 정확도(Predictive Accuracy)와 보증 적합성(Fitness for Guarantee)의 구분

현재의 모델 기반 접근법은 관측치 재구성, 다음 상태 예측, 가상 궤적 생성과 같은 '예측 정확도'를 주된 학습 목표로 삼는다. 하지만 평균적인 예측 지표가 낮다고 해서 특정 보증에 적합하다는 의미는 아니다. Delgrange는 모델이 특정 정책과 요구사항에 대해 어떤 결론을 정당화할 수 있는지를 다루는 '보증 적합성'을 명시적 설계 목표로 설정해야 한다고 주장한다.

창고 로봇의 사례를 보면, 월드 모델이 거의 모든 상태 전이를 정확히 예측하더라도 드물게 발생하는 지게차와의 위험한 상호작용 하나를 놓친다면 충돌 회피 보증은 무효가 된다. 평균 오차는 매우 낮을 수 있지만, 바로 그 희귀한 전이가 충돌 회피 주장의 유효성을 결정짓는 핵심 요소가 되기 때문이다. 반대로 모델이 색상이나 질감 같은 시각적 세부 사항을 무시하더라도 경로 추론과 충돌 감지에 필요한 핵심 기하학적 정보만 보존한다면, 이는 검증 관점에서 더 높은 보증 적합성을 가진 모델이 된다.

결국 검증에서 중요한 질문은 "모델이 얼마나 정확한가?"가 아니라 "이 정확도가 현재의 정책과 요구사항에 대해 어떤 결론을 정당화하는가?"이다. 파운데이션 월드 모델은 추상화 단계에서 분석 대상 행동과 연결된 신뢰성 정보를 함께 운반하며, 데이터 분포가 변함에 따라 이 정보를 온라인으로 수정한다. 이를 통해 논리나 언어로 표현된 사양이 에이전트가 필요로 하는 표현 방식과 정책을 가이드하는 구조를 완성한다.

LLM의 의미론적 인터페이스와 테스트 타임 루프(Test-time Loop)

언어 모델(LLM)은 파운데이션 월드 모델의 보조적인 의미론적 인터페이스 역할을 수행한다. LLM은 사용자의 고수준 지시어를 후보 사양(Specification)으로 번역하거나 구조화된 모델 업데이트를 제안한다. 이때 LLM은 가설을 세우는 '제안자'가 되고, 정형 검증기는 이를 논리적으로 확인하는 '검증자'가 되어 분업 체계를 구축한다. 이러한 분리는 LLM의 환각이나 논리적 오류가 물리적 사고로 이어지는 것을 원천적으로 차단한다.

월드 모델은 LLM이 제안한 추상적 가설을 실제 로봇의 경험 데이터에 근거해 접지(Grounding)한다. 검증기는 접지된 업데이트가 안전 제약 조건을 위반하는지 확인하며, 유효하지 않은 업데이트는 실행 전 단계에서 거부한다. 이 과정은 '테스트 타임 루프(Test-time Loop)'라는 반복적인 피드백 과정으로 이어진다. LLM이 새로운 물리 역학을 설명하는 소규모 정형 프로그램(Formal Program)을 제안하면, 모델 체커가 이를 테스트하여 반례(Counterexample)나 구조적 불일치를 찾아 반환한다.

LLM은 반환된 반례를 분석해 가설을 수정하고, 로봇은 수정된 가설의 유효성을 확인하기 위해 필요한 특정 데이터를 수집하는 표적 경험 수집을 수행한다. 현재 정형 보상 번역, 검증 가능한 추상화, 안전한 정책 개선 등의 개별 요소는 구현되어 있으며, 핵심 과제는 이 모든 구성 요소가 일관된 기준을 갖도록 교정 상태를 유지하는 엔드투엔드 에이전트를 구축하는 것이다. 이는 단순한 모델 크기의 확장이 아니라 구성 요소 간의 논리적 정렬을 통해 물리적 신뢰도를 확보하는 과정이다.

실배치 신뢰성 확보를 위한 인증서 철회 메커니즘과 검증 기준

물리 AI의 실배치 단계에서는 환경 변화에 따라 기존의 보증을 동적으로 수정하는 '인증서 철회' 메커니즘이 필수적이다. 예를 들어, 학습 때 방문하지 않았던 지름길로 지게차가 이동하며 경로를 막는 상황이 발생하면, 모델은 해당 영역의 신뢰도(Confidence)를 낮춘다. 검증기는 현재 정책이 배송 및 충돌 회피 요구사항을 만족하는지, 그리고 학습된 추상화 모델이 해당 경로에서 결론을 신뢰할 만큼 충분히 정확한지를 동시에 확인한다.

검증기가 두 질문에 모두 긍정적인 답을 얻지 못하면 기존에 발급된 인증서(Certificate)를 즉시 철회한다. 인증서가 철회된 상태에서는 위험한 정책 업데이트가 거부되며, 시스템은 로봇이 해당 영역을 다시 탐색하여 새로운 데이터를 수집하도록 유도한다. 수집된 데이터를 바탕으로 월드 모델을 재교정(Recalibration)한 뒤에야 보증서를 다시 발급하는 구조를 통해, 신뢰성을 배포 시점이 아닌 운영 과정에서 지속적으로 유지한다.

이러한 메커니즘을 실무에 적용하기 위해, 엔지니어는 모델 평가 시 아래의 [보증 적합성 검증 체크리스트]를 활용하여 예측 정확도와 신뢰 보증을 구분해 평가해야 한다.

**[보증 적합성 검증 체크리스트]**

- [ ] **평균 오차 vs 최악 사례:** 모델의 평균 예측 오차가 낮은가? $

ightarrow$ (Yes) $

ightarrow$ 특정 위험 상황(예: 지게차 충돌)에 대한 예측 실패 사례가 존재하는가? $

ightarrow$ (Yes) $

ightarrow$ **보증 부적합**

- [ ] **추상화 유효성:** 모델이 불필요한 세부 정보(색상, 질감)를 제거했는가? $

ightarrow$ (Yes) $

ightarrow$ 핵심 기하학적/물리적 제약 조건이 보존되었는가? $

ightarrow$ (Yes) $

ightarrow$ **검증 효율 적합**

- [ ] **신뢰도 접지:** 예측값과 함께 오차/커버리지 측정값이 제공되는가? $

ightarrow$ (Yes) $

ightarrow$ 데이터 부족 영역에서 신뢰도가 낮게 측정되는가? $

ightarrow$ (Yes) $

ightarrow$ **교정(Calibration) 적합**

- [ ] **동적 업데이트:** 환경 변화 감지 시 기존 인증서를 철회하는 프로세스가 있는가? $

ightarrow$ (Yes) $

ightarrow$ 재교정 후 인증서가 재발급되는가? $

ightarrow$ (Yes) $

ightarrow$ **운영 신뢰성 적합**

결론적으로 물리 AI의 실배치 단계에서는 모델의 평균 예측 오차가 낮더라도 지게차 충돌과 같은 특정 위험 상황에 대한 보증이 없다면 신뢰할 수 없다고 판단해야 한다.