Waymo의 '평가 중심 개발' 체계와 모델 제원

완전 자율주행(rider-only) 2억 2,000만 마일 주행 기록과 인간 운전자 대비 17배 낮은 중상 사고율은 Waymo가 구축한 검증 체계의 결과물이다. Waymo는 모델의 개별 성능이 좋다고 해서 배포하는 것이 아니라, 해당 모델을 검증하는 '평가 시스템'이 충분히 성숙했을 때만 프로젝트를 완료하는 '평가 중심 개발(eval-centric development)' 방식을 채택하고 있다.

기술 스택의 진화는 2017년 트랜스포머(Transformer) 도입부터 시작됐다. 이후 대규모 언어 모델(LLM)을 거쳐 시각-언어 모델(VLM, Vision-Language Model)과 시각-언어-행동 모델(VLA, Vision-Language-Action Model)로 확장했으며, 현재는 생성형 멀티모달 모델을 파운데이션 모델 전략의 핵심으로 사용한다.

인프라는 차량 내부의 온보드(onboard) 시스템과 외부의 오프보드(off-board) 인프라로 이원화된다. 온보드 시스템은 실시간 추론(real-time inference) 최적화에 집중하며, 오프보드 인프라는 모델 개발, 데이터 처리, 대규모 시뮬레이션을 담당한다. 이 두 영역의 결합을 통해 실시간 응답성과 대규모 학습 시스템의 효율성을 동시에 확보하는 구조를 취한다.

데이터 파이프라인과 시뮬레이션 기반 검증 메커니즘

검증 파이프라인은 모델 학습 단계부터 학습 후 평가, 오픈 루프(open-loop) 및 클로즈 루프(closed-loop) 시뮬레이션으로 이어진다. 평가는 일회성 출시 작업이 아니라 주행, 시뮬레이션, 검증이 반복되는 연속적인 프로세스로 작동한다. 특히 수십억 마일의 합성 데이터를 생성하는 현실적인 시뮬레이션을 통해 취약 도로 사용자, 철길 건널목, 공사 구간 등 복잡한 환경의 엣지 케이스(Edge Case)를 집중적으로 테스트한다.

데이터 확보 전략은 양적 팽창보다 '데이터 효율성(data efficiency)'에 집중한다. 단순히 데이터의 양을 늘리는 대신, 모델 학습에 가장 유용한 사례를 선별해 추출하는 방식을 사용한다. 또한 성능 주장의 신뢰도를 높이기 위해 테스트에 사용된 데이터셋의 특성 정보를 성능 지표와 함께 공개하여 검증 근거를 명확히 한다.

최종 배포 결정은 자동화 시스템에만 맡기지 않는다. 프로덕션 준비 상태 검토(production-readiness reviews) 단계에서 광범위한 인간 감독(human oversight)을 거치며, 내부 안전 책임자가 소프트웨어 릴리스와 서비스 지역 확장을 최종 승인한다. 이는 물리적 세계에서 인명 사고와 직결되는 자율주행의 특성을 반영한 제어 장치다.

인프라 제약과 내부 AI 에이전트 활용

연산 자원과 저장 공간, 네트워크 대역폭에 대한 수요가 가용 자원보다 빠르게 증가하는 문제는 Waymo가 직면한 주요 제약 사항이다. 이를 해결하기 위해 데이터 추출 및 저장 효율화, 분산 모델 학습, 모델 증류(model distillation), 시뮬레이션 최적화 기술을 적용해 인프라 부하를 낮추고 있다.

엔지니어의 생산성 향상을 위해 내부적으로 도입한 AI 에이전트는 데이터 분포 분석, 데이터 효율성 평가, 차량 텔레메트리(telemetry) 및 학습 실패 로그의 트리아지(triage, 우선순위 분류) 작업을 수행한다. 이 에이전트들 역시 신뢰할 수 있는 결과를 내놓는지 별도의 평가 과정을 거치며, 엔지니어가 단순 분석보다 고도의 기술적 판단에 집중할 수 있도록 보조하는 도구로 활용된다.

실무자가 AI 에이전트를 프로덕션에 도입할 때 판단해야 할 핵심은 모델의 벤치마크 점수가 아니라, 해당 시스템의 오류가 발생했을 때의 리스크를 측정할 수 있는 '전용 평가 데이터셋'과 '검증 파이프라인'이 구축되었는지 여부다.