버라이즌 커넥트(Verizon Connect, 글로벌 차량 관리 솔루션 기업)가 자사의 리빌(Reveal) 플랫폼 사용자 10만 명을 대상으로 에이전틱 AI(Agentic AI, 스스로 목표를 설정하고 도구를 사용하는 AI) 솔루션을 배포했다. 이 시스템은 120만 대의 활성 차량 구독 서비스에서 매일 생성되는 5억 개 이상의 데이터 포인트를 처리한다. 분석 대상은 8만 개의 고유 데이터 지표에 달한다.

기존의 차량 관리자들은 파편화된 종이 로그와 엑셀 시트에 의존해 이상 징후를 수동으로 찾아야 했다. 데이터의 양이 너무 많아 안전 문제나 유지보수 필요성을 사전에 파악하는 것이 불가능했다. 버라이즌 커넥트는 정해진 규칙만 찾는 정적 대시보드 대신, 스스로 패턴을 조사하고 후속 질문을 던지는 에이전틱 AI를 도입했다. 이를 통해 단순한 데이터 나열이 아닌, 즉시 실행 가능한 인사이트를 매일 아침 사용자에게 제공하는 체계를 구축했다.

120만 대 차량, 매일 5억 개 데이터 처리하는 인프라

매일 아침 8시, 미국 전역의 차량 관리자들은 자신의 대시보드에서 당일 업무의 우선순위를 확인한다. 과거에는 수천 대의 차량에서 쏟아지는 방대한 로그를 사람이 일일이 대조하며 이상 징후를 찾아내야 했으나, 이제는 시스템이 자동으로 핵심 통찰을 추출해 제공한다. 버라이즌 커넥트는 수집된 8만 개의 고유 지표를 바탕으로 10만 명의 사용자가 운영 효율을 결정할 수 있도록 지원한다.

데이터 규모가 커질수록 기존의 정적 대시보드나 규칙 기반 자동화 시스템은 처리 한계에 부딪힌다. 버라이즌 커넥트는 이를 해결하기 위해 서버리스 아키텍처와 오픈소스 SDK를 결합한 에이전틱 AI를 도입했다. 개발팀은 AI 에이전트 구축 및 실행을 위한 오픈소스 SDK인 Strands Agents를 채택하여 AWS Lambda(이벤트 기반 서버리스 컴퓨팅 서비스) 환경에서 구동했다. 이 구조는 트래픽과 데이터 처리량에 따라 서버 자원을 자동으로 확장하며, 에이전트가 고정된 단계가 아닌 동적인 추론 루프를 통해 데이터를 조사하도록 설계되었다.

수치 분석의 정확도를 높이기 위해 LLM(거대언어모델)에 원시 데이터를 직접 입력하는 방식은 배제했다. 대신 AWS Step Functions(서버리스 워크플로우 오케스트레이션 서비스)와 AWS Lambda를 활용해 통계 모델을 먼저 가동하고, 이상 징후를 식별한 뒤에 AI 에이전트가 그 원인을 분석하도록 역할을 분리했다. LLM 호스팅은 Amazon Bedrock을 통해 이루어진다. 초기 로직 검증에는 Claude 4.5 Sonnet을 사용했으나, 운영 효율을 위해 Claude 4.5 Haiku를 거쳐 현재는 Amazon Nova 2 Lite 모델을 적용했다. 이 과정을 통해 입력 토큰 비용을 기존 대비 70% 절감하면서도 분석 품질을 유지했다.

데이터 처리의 병목 현상을 방지하기 위해 Amazon SQS(메시지 큐 서비스)를 활용한 동시성 제어 전략도 도입했다. 시스템은 1분당 1,500건의 요청을 처리하며 5시간 이내에 모든 분석을 완료한다. 이렇게 생성된 통찰은 리빌(Reveal) 플랫폼 메인 페이지에 실시간으로 반영된다. 관리자는 별도의 분석 도구를 거치지 않고 즉각적인 의사결정을 내릴 수 있다. 이는 데이터가 늘어날수록 분석 효율이 떨어지던 문제를 서버리스 기반의 동적 추론 체계로 해결한 사례다.

통계 모델과 LLM의 분리: 2단계 인사이트 생성 구조

엔지니어가 대규모 정형 데이터 처리를 위해 LLM에 직접 수치 연산을 맡기면, LLM이 복잡한 테이블 구조를 잘못 해석하거나 수치를 오기입하는 오류가 발생한다. 버라이즌 커넥트 개발팀은 수치 계산과 추론 로직을 물리적으로 분리하는 아키텍처를 채택했다. [Figure 1]과 [Figure 4]에서 볼 수 있듯, 이상 징후 탐지는 AWS Step Functions와 AWS Lambda 기반의 통계 모델이 전담한다. 통계 모델이 데이터 속에서 이상 징후의 실체를 먼저 규명하면, LLM 기반 에이전트는 그 결과값을 받아 원인 분석과 대응 전략 수립에 집중한다.

[Figure 1]

[Figure 4]

인사이트 생성은 2단계 구조로 나뉜다. 1단계 요약 생성 과정에서 에이전트는 탐지된 이상 징후들을 그룹화한다. 이때 LLM은 심각도, 재발률, 전체 운영에 미치는 영향력을 기준으로 상위 4개의 핵심 인사이트를 스스로 선정한다. 2단계 상세 생성 단계에서는 선정된 각 인사이트를 처리하기 위해 개별 에이전트 인스턴스가 즉시 생성된다. 이 에이전트들은 데이터 검색 도구를 반복 호출하며 필요한 증거를 확보할 때까지 조사를 수행한다.

이 과정에서 에이전트는 상태를 저장하지 않는 Stateless(무상태) 방식을 채택한다. 분석이 필요한 시점에 컨텍스트를 새로 호출하여 데이터의 최신성을 유지하는 구조다. 이러한 방식은 고정된 로직으로는 포착하기 어려운 예외 사례를 발견하는 데 유리하다. 데이터가 예상치 못한 상관관계를 보일 경우, 에이전트는 즉각 조사 전략을 수정하고 추가 도구를 호출해 가설을 검증한다. 이는 정해진 규칙 기반 시스템이 놓치는 운송 환경의 변수를 실시간으로 분석에 반영하는 방식이다.

에이전트의 독립적인 추론 루프는 시스템의 유연성을 높인다. 고정된 비즈니스 규칙에 의존하지 않으므로, 데이터 패턴이 변화해도 시스템을 매번 재설계할 필요가 없다. 버라이즌 커넥트는 Strands Agents를 AWS Lambda 환경에 배포하여 수요에 따른 수평적 확장을 구현했다. 결과적으로 10만 명의 사용자는 매일 아침 비즈니스 시작 시점에 맞춰, 수억 개의 데이터 포인트에서 추출된 정제된 인사이트를 즉각적으로 확인할 수 있게 되었다.

정적 규칙 기반 시스템 vs 에이전틱 AI의 추론 방식

기존의 차량 관제 시스템은 개발자가 사전에 정의한 임계값과 논리적 조건 내에서만 작동하는 규칙 기반(Rule-based) 자동화 방식을 사용했다. 예를 들어 특정 속도 이상으로 주행하거나 정해진 경로를 이탈하는 경우에만 알람을 보내는 식이다. 이러한 구조에서는 시스템 설계 시점에 예측하지 못한 복합적인 이상 징후를 감지할 수 없다. 데이터 분석 범위가 고정된 매개변수에 갇혀 있기 때문이다.

반면 에이전틱 AI는 데이터 간의 숨은 상관관계를 스스로 찾아낸다. 특정 시간대에 반복되는 급제동 패턴이나 차량 부품의 미세한 진동 변화가 특정 운행 환경과 맞물리는지 실시간으로 가설을 설정하고 조사한다. 이 과정에서 에이전트는 고정된 단계별 명령을 따르지 않고, 동적 추론 루프(Dynamic reasoning loop)를 통해 조사 경로를 자율적으로 결정한다. 데이터 흐름에 따라 추가 도구 호출이 필요한지, 혹은 현재 가설을 폐기하고 새로운 방향으로 접근할지를 스스로 판단한다.

이러한 유연성은 예측 불가능한 차량 운행 시나리오에서 실질적인 차이를 만든다. 기존 시스템은 사전에 정의되지 않은 엣지 케이스를 발견할 수 없으나, 에이전틱 AI는 이상 징후를 발견하는 즉시 원인을 파악하기 위한 후속 질문을 던진다. 예를 들어 급제동이 특정 운전자의 습관인지, 아니면 특정 구간의 도로 인프라 문제인지 구분하기 위해 추가적인 경로 데이터를 호출하는 식이다. 이는 개발자가 모든 경우의 수를 코드로 작성해야 했던 한계를 기술적으로 극복한 결과다.

결국 에이전틱 AI는 정적인 대시보드가 제공하지 못하는 심층적인 통찰을 실시간으로 도출한다. 개별적인 이상치(Anomaly)를 단순히 나열하는 것을 넘어, 이들이 전체 차량 운영에 미치는 영향을 종합적으로 평가한다. 시스템은 매 분석마다 새로운 맥락을 확보하며, Stateless 구조를 통해 최신 데이터를 바탕으로 추론을 수행한다. 이는 복잡한 물류 환경에서 발생하는 수천 가지 변수를 처리하는 핵심 역량이며, 데이터 과부하 상태의 관리자들에게 구체적인 대응책을 제시한다.

Claude 4.5에서 Nova 2 Lite로, 토큰 비용 70% 절감

10만 명 규모의 상용 서비스에서 모델 선택은 전체 비즈니스의 손익분기점을 결정짓는 핵심 변수다. 버라이즌 커넥트는 초기 검증 단계에서 고성능 모델인 Claude 4.5 Sonnet을 투입해 로직의 정합성과 인사이트 품질을 확보했다. 이 과정에서 에이전트가 복잡한 차량 데이터를 해석하고 이상 징후를 추론하는 논리 구조를 완성했다.

검증이 끝난 후 생산 단계에서는 비용 효율성을 극대화하기 위해 모델을 전환했다. 먼저 Claude 4.5 Haiku로 모델을 변경해 운영 효율을 높였고, 최종적으로는 아마존 노바 2 라이트(Amazon Nova 2 Lite)를 도입했다. 노바 2 라이트는 Claude 4.5 Haiku와 비교해 입력 토큰 비용을 70% 절감했다. 방대한 텔레매틱스 정보와 문맥 데이터를 처리해야 하는 워크로드에서 이러한 비용 절감은 매일 수억 건의 데이터를 처리하면서도 운영 적자를 피할 수 있는 기반이 된다.

[Figure 2]

배포 전략에서도 비용과 성능의 균형을 맞추기 위한 설계가 동반되었다. 아마존 SQS를 활용해 동시 실행 요청을 제어하며 서버리스 인프라의 부하를 관리했다. 미국 전역의 사용자 10만 명에게 인사이트를 제공하기 위해, 전날 자정까지의 데이터를 기반으로 미국 동부 표준시 오전 8시 이전까지 모든 생성을 완료하는 배포 스케줄을 확립했다. 시차를 고려해 5시간의 가용 시간 내에 1,500 RPM(분당 요청 처리량) 속도로 작업을 수행함으로써 운영 요구 사항을 충족했다.

[Figure 3]

이러한 최적화는 서비스의 가용성을 극대화하는 결과로 이어졌다. 아마존 베드록(Amazon Bedrock)을 통해 모델을 호스팅하며 보안과 책임 있는 AI 기능을 유지했다. 자동화된 테스트 스위트와 골드 스탠다드 데이터셋으로 품질을 검증하면서 모델 체급을 낮춰, 더 많은 사용자에게 AI 기반 인사이트를 상시 제공할 수 있게 되었다. 결과적으로 10만 명의 사용자는 매일 아침 리빌(Reveal) 플랫폼 메인 화면에서 대기 시간 없이 정제된 운영 인사이트를 확인한다.

한국 물류·모빌리티 AI 실무자가 주목할 지점

120만 대의 차량이 매일 5억 개의 데이터 포인트를 쏟아내는 버라이즌 커넥트의 사례는 대규모 텔레매틱스 데이터를 다루는 한국 물류 기업들에게 중요한 시사점을 준다. 실무자들이 흔히 범하는 실수는 LLM에 원시 표 데이터를 직접 넣어 수치 분석을 시키는 것이다. LLM은 대규모 수치 추출과 복잡한 표 구조 해석에서 정확도가 떨어진다. 해결책은 통계 모델과 LLM의 역할을 분리하는 설계다. AWS Step Functions와 AWS Lambda로 구축한 서버리스 통계 모델이 먼저 이상 징후를 탐지하고, LLM은 그 결과값을 받아 원인을 해석하는 데만 집중하는 구조를 갖춰야 한다.

모델 선택은 서비스의 경제성을 결정한다. 버라이즌은 Claude 4.5 Sonnet으로 품질을 검증한 뒤, 서비스 단계에서 Claude 4.5 Haiku를 거쳐 Amazon Nova 2 Lite로 전환하며 입력 토큰 비용을 70% 절감했다. 텔레매틱스 데이터는 입력 토큰 양이 압도적으로 많으므로 비용 최적화가 필수적이다. 자동화된 테스트 세트와 골드 스탠다드 데이터셋으로 품질을 유지하며 모델 체급을 단계적으로 낮추는 전략이 필요하다.

마지막으로 UX의 방향성이다. 실시간 대시보드는 관리자가 직접 이상 징후를 찾아내야 하는 수동적 도구다. 버라이즌은 업무 시작 전 실행 가능한 요약을 제공하는 방식으로 전환했다. Amazon SQS로 동시성을 제어해 매일 오전 8시까지 분석을 완료하며, 전날 자정까지의 데이터를 처리하는 데 총 5시간의 윈도우를 할당한다. 이상 징후 탐지에 1시간, AI 에이전트의 통찰 생성에 약 1.25시간(1,500 RPM 기준)을 사용하여 사용자가 로그인 즉시 우선순위가 정해진 요약 보고서를 확인하게 했다. 이는 데이터 탐색 시간을 줄이고 즉각적인 조치에 집중하게 만드는 설계다.