400명의 엔지니어를 실전으로 투입한 '에이전틱 AI 리그'의 설계

Atos는 2026년 AWS와 협력하여 엔지니어 400명을 대상으로 3일간의 '에이전틱 AI 리그'를 운영했다. 참가자에는 AWS 경험이 풍부한 개발자부터 제품 소유자(PO), 프로젝트 매니저(PM) 등 비기술적 역할을 수행하는 인원까지 폭넓게 포함되었다. 이들은 가상 환경인 '던전 미로'에서 경로를 찾아 보물을 획득하고 함정을 피하는 자율 AI 에이전트를 구축하는 과제를 수행했다. 모든 과정은 제한된 시간과 생명(Lives)이라는 제약 조건 속에서 진행되었으며, 단순한 이론 학습이 아닌 실제 배포 수준의 구현 능력을 배양하는 데 초점을 맞췄다.

평가 체계는 정답률이라는 성능 지표와 토큰 사용량, 도구 호출 횟수, 실행 시간이라는 효율성 지표를 결합한 실시간 리더보드 방식을 도입했다. 엔지니어들은 정답을 맞히는 것뿐만 아니라, 토큰 사용량을 최소화하고 불필요한 도구 호출을 줄여야 더 높은 점수를 얻을 수 있었다. 이는 실제 기업의 AI 운영 환경에서 발생하는 비용 최적화와 지연 시간 감소라는 핵심 과제를 경쟁 요소로 치환한 설계다. 참가자들은 리더보드 순위를 높이기 위해 프롬프트를 정교화하고 아키텍처를 지속적으로 수정하며 실무적인 최적화 감각을 익혔다.

운영 효율을 위해 Atos는 AWS Workshop Studio 기반의 턴키 솔루션을 활용하여 인프라 셋업 시간을 최소화했다. AWS와 물류 및 이벤트 세부 사항을 조율하고 참가자 정보를 수집하는 절차만으로 환경 구축을 완료했으며, 이를 통해 엔지니어들이 설정 작업보다 에이전트 로직 설계에 더 많은 시간을 할애하게 했다. Atos는 참가자들이 충분한 실험과 반복 개선을 수행할 수 있도록 전체 행사 기간을 3일로 설정하여 유연한 학습 환경을 제공했다. 결과적으로 참가자들은 이론적 토대를 실제 인프라 위에서 검증하며 생산 수준의 멀티 에이전트 시스템을 구축하는 경험을 쌓았다.

Amazon Bedrock AgentCore 기반의 멀티 에이전트 아키텍처

엔지니어들은 Amazon Bedrock을 통해 에이전트의 추론을 담당하는 파운데이션 모델에 접근하고, 이를 바탕으로 상태 분석 및 행동 결정 논리를 설계했다. 여기에 Amazon Bedrock AgentCore를 결합하여 여러 에이전트가 협력하는 멀티 에이전트 오케스트레이션을 구현했다. 단일 모델이 모든 작업을 처리하는 대신, 특정 역할에 특화된 에이전트들이 AgentCore를 통해 통신하며 임무를 분담하는 구조를 구축했다. 특히 AgentCore Code Interpreter 기능을 활용해 에이전트가 실시간으로 코드를 작성하고 실행하게 함으로써, 복잡한 수치 계산이나 데이터 처리의 정확도를 획기적으로 높였다.

입출력 안전성을 확보하기 위해 Amazon Bedrock Guardrails를 적용하여 유해한 입력이나 부적절한 출력을 실시간으로 필터링했다. 엔지니어들은 가드레일 설정을 통해 에이전트가 정의된 정책 범위 내에서만 동작하도록 제어하며 AI 안전성(AI Safety)을 구현했다. 모델이 스스로 처리하기 어려운 정밀 작업이나 외부 시스템과의 상호작용은 AWS Lambda를 통해 해결했다. 미리 정의된 Lambda 기반 커스텀 도구 함수를 호출하고 그 결과값을 다시 모델에 전달하는 루프를 설계하여, 모델의 환각 현상을 차단하고 실행 가능한 결과값을 보장하는 구조를 완성했다.

추론 정확도를 극대화하기 위해 Amazon SageMaker 환경에서 RLVR(Reinforcement Learning from Verifiable Rewards, 검증 가능한 보상을 통한 강화학습) 기법을 적용했다. RLVR은 모델의 결과가 정답인지 객관적으로 검증하는 보상 체계를 통해, 모델이 정답에 이르는 최적의 논리적 경로를 스스로 학습하게 만드는 방식이다. 엔지니어들은 이를 통해 모델이 단순한 확률적 텍스트 생성이 아니라, 검증 가능한 단계를 거쳐 정답을 도출하도록 유도했다. 최종적으로 추론 모델, 오케스트레이션 플랫폼, 안전장치, 커스텀 도구가 유기적으로 연결된 자율 에이전트 아키텍처를 구축했다.

성능과 비용의 트레이드오프: 에이전트 설계의 핵심 판단

실전 구축 과정에서 엔지니어들은 정답률과 토큰 비용 사이의 명확한 트레이드오프를 경험했다. 모든 추가 토큰은 리더보드 점수 차감으로 이어졌기에, 불필요한 수식어나 반복 지시어를 제거한 정교한 프롬프트 작성이 필수적이었다. 단순히 기능을 구현하는 단계를 넘어, 최소한의 토큰으로 모델이 의도를 정확히 파악하게 만드는 최적화 작업이 상위권 진입의 결정적 요인이 되었다. 이는 실제 프로덕션 환경에서 토큰당 가치(Value per Token)를 극대화해야 하는 비즈니스 요구사항과 동일한 맥락이다.

에이전트 구조 설계에서는 전문 에이전트(Specialist)와 다기능 에이전트(Multifunctional) 사이의 선택 문제가 발생했다. 특정 작업만 수행하는 전문 에이전트를 여러 개 배치하면 개별 호출의 토큰 사용량은 줄어들지만, 전체 오케스트레이션 과정에서 지연 시간이 증가하는 결과가 나타났다. 반대로 모든 기능을 갖춘 다기능 에이전트는 호출 횟수는 적으나 프롬프트가 길어져 토큰 비용이 상승하고, 사용할 수 있는 도구가 많아질수록 엉뚱한 도구를 호출하는 환각 현상이 빈번해졌다. 엔지니어들은 각 에이전트의 권한과 도구 범위를 최소화하여 불필요한 추론 단계를 제거하는 설계가 응답 속도와 정답률을 동시에 높이는 최적 경로임을 확인했다.

가드레일 설정 단계에서는 필터링 강도와 임무 수행 성공률 사이의 균형점을 찾는 정밀 튜닝이 진행되었다. 'Violent Violet' 챌린지 사례에서 보듯, 가드레일을 너무 공격적으로 설정하면 정상적인 쿼리까지 차단되어 다른 임무 수행에 실패하는 결과가 초래되었다. 반대로 너무 허용적으로 설정하면 안전성 테스트에서 탈락했다. 엔지니어들은 입력값의 패턴을 분석해 오탐지율을 낮추고 정탐지율을 높이는 반복 테스트를 수행하며, 비즈니스 로직을 해치지 않으면서 위험 요소를 정밀하게 차단하는 실무적 기준을 수립했다.

관찰 도구와 컨텍스트가 가속하는 성능 개선 루프

Amazon CloudWatch Logs를 통해 실행 과정을 정밀하게 추적한 그룹이 추측만으로 코드를 수정한 그룹보다 개선 속도가 월등히 빨랐다. 로그를 통해 에이전트가 어느 단계에서 추론을 멈췄는지, 어떤 도구 호출에서 오류가 발생했는지 정확히 짚어낸 팀들은 시행착오 횟수를 획기적으로 줄였다. 특히 Lambda 함수 호출 시 발생하는 표준 출력과 에러 로그를 실시간으로 분석하여, 에이전트의 내부 추론 흐름과 실제 도구 실행 결과 사이의 간극을 찾는 디버깅 워크플로가 성능 향상의 핵심이었다.

개발 과정에서 Kiro와 같은 AI 보조 도구를 활용할 때, 챌린지의 전체 문맥을 상세히 제공한 팀들이 더 빠르게 최적의 결과물을 도출했다. 단순한 오류 메시지만 입력하는 방식 대신, 최종 목표, 사용 가능한 도구의 API 명세, 맵의 물리적 제약 조건 등 전체 상황을 프롬프트에 포함해 AI 도구의 판단 근거를 확장했다. 이러한 컨텍스트 전략을 통해 AI 도구는 단순한 코드 문법 교정을 넘어, 에이전트의 추론 단계 자체를 효율화하는 아키텍처 수준의 개선안을 제시할 수 있었다.

리더보드 상위권 팀들은 범용 알고리즘에 의존하지 않고 맵 특성에 최적화된 커스텀 경로 탐색 전략을 설계했다. 던전 미로라는 환경과 제한된 생명이라는 제약 조건을 고려해 탐색 우선순위를 유연하게 조정하는 로직을 추가함으로써, 불필요한 탐색 범위를 제거하고 토큰 사용량을 최소화했다. 이는 문제 도메인의 특성을 분석해 맞춤형 전략을 설계하는 것이 고성능 에이전트 구축의 핵심임을 보여준다. 결국 '제대로 측정하고 관찰한 뒤 행동한다'는 엔지니어링 원칙이 에이전트 성능 개선의 가장 빠른 경로였다.

PoC에서 프로덕션으로: 에이전트 전환의 최종 실행 기준

Atos의 사례는 에이전틱 AI를 단순한 PoC(개념 증명) 단계에서 실제 프로덕션으로 전환하기 위한 구체적인 판단 기준을 제시한다. 프로덕션 수준의 효율성을 확보하려면 단순한 정답률 외에 '토큰당 가치'와 '호출 지연 시간'을 핵심 지표로 관리해야 한다. 특히 가드레일 설정 시 추측성 프롬프트 수정에 의존하지 않고, CloudWatch와 같은 관찰 도구(Observability)를 통해 실제 호출 로그를 분석하는 디버깅 워크플로를 반드시 적용해야 한다. 로그 데이터에서 어떤 토큰이나 패턴이 가드레일에 걸렸는지 확인하고 임계값을 조정하는 반복 과정이 있어야만 운영 가능한 수준의 정밀도가 완성된다.

실무 역량을 빠르게 끌어올리기 위해서는 이론 중심의 교육보다 실제 인프라 위에서 시간과 비용 제약을 준수하며 경쟁하는 환경을 구축하는 것이 효과적이다. 개발자뿐 아니라 PO, PM이 함께 참여해 정답률과 효율성을 합산한 점수를 높이는 과정에서, 프롬프트 최적화를 통해 도구 호출을 줄이는 행위가 핵심 생존 전략이 된다. 실제 운영 환경과 동일한 비용 제약과 시간 제한을 부여했을 때, 엔지니어는 단순 기능 구현을 넘어 토큰 하나가 비용으로 직결되는 운영 효율 관점에서 아키텍처를 설계하게 된다.

결론적으로 에이전트의 프로덕션 전환 여부를 결정하는 최종 실행 기준은 정답률의 절대적 수치가 아니라, 정해진 지연 시간과 토큰 예산 범위 내에서 가드레일 오탐률을 5% 미만으로 유지하며 일관된 성능을 내는가에 두어야 한다. 이를 위해 기업은 성능(정답률)과 효율성(토큰/시간 비용)을 동시에 측정하는 리더보드 기반의 실무 검증 기준을 수립하고, 이를 통해 에이전트의 운영 가능성을 판단해야 한다.