영국 데이터 주권 준수를 위한 Llama 4 자체 호스팅 결정

의료와 법률 등 규제가 엄격한 산업군에서 10,000개 이상의 고객사를 보유한 OneAdvanced는 모든 데이터가 영국 내에 머물러야 한다는 데이터 주권 요구사항을 최우선으로 해결해야 했다. 데이터 주권은 데이터가 생성된 국가의 법률과 규제를 따르며 해당 국가 내에 물리적으로 저장되고 관리되는 것을 의미한다. 특히 공공 부문과 고도로 규제된 산업의 고객들은 자신의 데이터가 정확히 어디에 위치하는지, 누가 접근할 수 있는지, 그리고 영국 법적 프레임워크 내에서 완전히 보호되는지를 확인하고 싶어 한다. 이러한 요구는 단순한 보안 선호를 넘어 서비스 계약의 성립 여부를 결정짓는 필수 전제 조건으로 작용한다.

OneAdvanced는 최신 AI 기능을 빠르게 제공하기 위해 Llama 4 Maverick과 Llama Guard 4 모델의 도입을 추진했다. 하지만 당시 이 특정 모델들은 영국 지역의 AWS 관리형 서비스에서 제공되지 않는 상태였다. 관리형 서비스는 클라우드 제공자가 모델의 배포와 운영, 업데이트를 대신 처리해 주는 방식이기에 구축 속도가 빠르지만, 제공 지역이 제한적이라는 단점이 있다. 최신 모델의 추론 성능을 활용하면서도 데이터 거주성, 즉 데이터가 물리적으로 영국 영토 내에 머물러야 한다는 제약을 동시에 만족시켜야 하는 기술적 충돌이 발생한 것이다.

이 문제를 해결하기 위해 OneAdvanced는 관리형 서비스의 편리함을 포기하고 오픈 웨이트 LLM을 AWS 인프라 위에 직접 배포하는 자체 호스팅 방식을 선택했다. 오픈 웨이트는 모델의 가중치 값이 공개되어 있어 사용자가 자신의 서버에 직접 설치하고 실행할 수 있는 형태를 말한다. 자체 호스팅을 통해 OneAdvanced는 AWS 인프라의 모든 제어권을 확보했으며, 데이터가 국경을 넘어 외부로 유출될 가능성을 원천적으로 차단했다. 모델의 버전 선택부터 하드웨어 설정, 배포 시점까지 모든 과정을 직접 관리함으로써 데이터 주권과 최신 모델 활용이라는 두 가지 목표를 동시에 달성했다.

인프라의 물리적 제어권을 확보한 이후에는 운영의 신뢰성을 객관적으로 증명하기 위한 거버넌스 체계를 구축하는 데 집중했다. AI 시스템의 관리 체계와 위험 관리 프로세스를 표준화한 국제 표준인 ISO 42001 인증 지원을 통해 AI 거버넌스를 강화했다. 이는 단순히 기술적으로 데이터를 격리하는 것을 넘어, 조직 차원에서 AI를 어떻게 안전하게 관리하고 운영하는지를 국제 표준에 맞게 정립했음을 의미한다. 결과적으로 기술적 자체 호스팅과 제도적 인증을 결합하여 규제 산업 고객이 요구하는 엄격한 수준의 보안성과 투명성을 모두 확보하는 구조를 완성했다.

vLLM과 p5.48xlarge 기반의 추론 인프라 구조

대규모 문서 분석과 멀티턴 대화를 위해 p4d.24xlarge 인스턴스에서 p5.48xlarge 인스턴스로 전환하여 120K에서 128K 사이의 토큰 컨텍스트 길이를 확보했다. 컨텍스트 길이는 모델이 한 번에 기억하고 처리할 수 있는 텍스트의 양을 의미한다. 런던(eu-west-2) 지역의 Amazon SageMaker AI(AWS의 머신러닝 모델 구축 및 배포 서비스) 환경에서 vLLM을 사용해 모델을 서빙한다. vLLM은 메모리 관리를 최적화해 추론 처리량을 높이는 고성능 엔진이다. 이를 통해 `meta-llama/Llama-4-Maverick-17B-128E-Instruct-FP8` 모델과 `meta-llama/Llama-Guard-4-12B`를 구동한다. 특히 FP8은 8비트 부동 소수점 방식을 뜻하며, 모델의 정밀도는 유지하면서 메모리 사용량을 줄여 추론 속도를 높이는 기법이다. 하드웨어 사양을 높이고 데이터 형식을 최적화해 긴 문서를 끊김 없이 처리할 수 있는 기반을 구축했다.

Llama Guard 4를 메인 모델 앞단에 직렬로 배치해 유해 콘텐츠를 먼저 필터링하는 가드레일 구조를 설계했다. 사용자의 입력값이 메인 모델인 Llama 4 Maverick에 도달하기 전, Llama Guard 4가 먼저 내용을 검사해 부적절한 요청을 차단하는 방식이다. 모델 두 개를 순차적으로 연결해 보안성을 높인 구성이다. 모델 배포에는 Hugging Face(오픈소스 모델 저장소)의 모델과 AWS Deep Learning Containers(딥러닝 환경이 미리 설정된 컨테이너 이미지)를 활용했다. 컨테이너 기반 배포는 환경 설정 시간을 줄이고 일관된 실행 환경을 보장한다. 인프라 수준에서 필터링 단계를 완전히 분리함으로써 메인 모델이 실제 답변 생성에만 집중하게 하여 전체적인 응답 효율을 높였다.

데이터 파이프라인은 Amazon S3에 업로드된 문서를 마크다운 형식으로 변환하고 청킹하는 과정으로 이어진다. 청킹은 긴 문서를 모델이 처리하기 적합한 작은 조각으로 나누는 작업으로, 검색 효율을 결정하는 핵심 단계다. 이렇게 가공된 데이터는 Amazon Aurora PostgreSQL의 pgvector 확장을 통해 임베딩되어 저장된다. pgvector는 관계형 데이터베이스 내에서 벡터 유사도 검색을 가능하게 하는 확장 기능이다. 텍스트를 숫자로 이루어진 벡터로 변환해 저장하면, 사용자의 질문과 가장 유사한 의미를 가진 문서 조각을 빠르게 찾아낼 수 있다. Amazon S3에서 시작해 마크다운 변환, 청킹, 그리고 pgvector 저장으로 이어지는 이 흐름은 대량의 전문 문서를 빠르게 검색하고 모델에 전달하는 통로가 된다. 정형 데이터베이스의 안정성과 벡터 검색의 유연성을 결합해 데이터 추출의 정확도를 확보했다.

Strands SDK와 노코드 빌더를 통한 에이전트 확장

첫 번째 에이전트를 배포한 뒤 단 3주 만에 50개가 넘는 전문 에이전트로 확장했다. 개별 에이전트를 구축하는 데 소요되는 시간을 하루 미만으로 단축한 비결은 Strands Agents SDK(에이전트의 동작을 제어하는 소프트웨어 개발 키트)를 통한 오케스트레이션 구조에 있다. 이 SDK는 Amazon ECS(애플리케이션을 컨테이너 단위로 실행하는 서비스) 환경에서 컨테이너 기반으로 실행되며 전체적인 추론 흐름을 관리한다. 기존의 많은 시스템이 단계별 순서를 미리 정의하는 경직된 워크플로 방식을 사용하는 것과 달리, 모델이 상황에 맞게 도구를 선택하고 판단하는 모델 중심 접근 방식을 채택했다. 덕분에 복잡한 분기 처리를 일일이 코딩하지 않고도 다양한 전문 분야의 에이전트를 빠르게 양산할 수 있었다.

기술적 진입장벽을 낮추기 위해 비개발자도 사용할 수 있는 노코드 빌더를 함께 구축했다. 제품 관리자나 임상 전문가 같은 현업 담당자가 시각적 인터페이스에서 드래그 앤 드롭 방식으로 입력 폼을 설계하면, 이를 통해 수집된 데이터가 에이전트의 입력값으로 전달된다. 특히 시스템 프롬프트를 작성할 때 `@` 문법을 사용하여 폼 필드 값을 주입하는 방식을 도입했다. 이렇게 정의된 에이전트의 페르소나, 도구 설정, 입력 폼 구조는 DynamoDB(빠른 읽기 쓰기가 가능한 비관계형 데이터베이스)에 저장되어 실행 시점에 즉시 로드된다. 개발자의 개입 없이 현업 전문가가 직접 프롬프트를 수정하고 도구를 조합해 에이전트의 성능을 최적화하는 워크플로를 완성했다.

에이전트의 실질적인 수행 능력은 공통 도구 라이브러리에서 나온다. 여기에는 단순 계산기부터 차트 생성, Mermaid 다이어그램(텍스트 기반 다이어그램 생성 도구), 파일 내용 읽기 기능이 포함되어 있다. 특히 Snowflake(클라우드 데이터 웨어하우스) 통합 스프레드시트 쿼리와 영국 법전 검색 기능을 통해 고도의 전문 데이터를 다룬다. 특정 에이전트가 Snowflake 데이터베이스에서 필요한 수치를 쿼리하고, 그 결과값을 다시 차트 생성 도구로 넘겨 시각화 자료를 만드는 과정을 단 한 번의 상호작용으로 처리하는 식이다. 또한 사용자에게 먼저 질문을 던져 필요한 맥락을 충분히 확보한 뒤 분석을 시작하는 인터뷰 스타일의 에이전트 패턴을 구현하여, 모호한 요청에서도 정확한 결과물을 도출하도록 설계했다.

기존 방식과 달라진 지점

첫 에이전트를 생성한 후 3주 만에 50개가 넘는 전문 에이전트로 확장했다. 개별 에이전트를 구축하는 데 소요된 시간은 대부분 하루 미만이었다. 의료 사고 대응과 임상 안전 공고 생성 같은 고도의 전문성이 필요한 영역부터 교육 과정 설계, 성과 평가 보조 업무까지 폭넓은 도메인에 적용했다. 이는 단순한 실험 도구를 넘어 실제 규제 준수와 확장 속도를 보장하는 프로덕션 스택으로 전환하여 배포 속도를 극대화한 결과다.

초기 검증 단계에서는 Amazon Bedrock(AWS의 완전 관리형 LLM 서비스)을 사용했다. 2주 단위의 짧은 스프린트 기간 내에 기본적인 채팅 기능과 법전 쿼리가 가능한 프로토타입을 빠르게 구현했다. 이 과정에서 LLM이 실제 업무에 투입될 수 있는 가능성을 확인했으며 이후 배포 속도를 극대화하기 위해 자체 호스팅 기반의 인프라 최적화 단계로 진입했다.

에이전트 오케스트레이션을 위해 LangChain(LLM 애플리케이션 개발 라이브러리)과 LangGraph(상태 기반 멀티 에이전트 워크플로 도구) 등 시장의 주요 프레임워크를 면밀히 검토했다. 하지만 최종 선택은 Strands SDK였다. 기존의 워크플로 정의 방식은 단계별 경로를 미리 설정해야 하므로 변경 사항이 생길 때마다 설계를 수정해야 하는 제약이 있었다. 반면 Strands SDK는 엄격한 정의 없이 모델이 상황에 맞게 판단하도록 하는 모델 중심 접근 방식을 취한다. 특히 대화 순서를 교대하는 턴 테이킹이나 인터뷰 방식의 상호작용을 기본적으로 지원했다. 덕분에 개발자는 복잡한 흐름도를 설계하는 데 시간을 쓰는 대신 모델의 능력을 활용해 아이디어를 즉시 배포 가능한 에이전트로 구현할 수 있었다.

구현된 에이전트는 시스템 프롬프트와 사용 가능한 도구 세트, 그리고 선택적인 구조화 입력 폼으로 구성된다. 입력 폼은 사용자가 에이전트에게 전달해야 할 필수 정보를 누락 없이 입력하게 만드는 장치다. 에이전트의 런타임 설정값은 Amazon DynamoDB(NoSQL 데이터베이스)에 저장하여 관리 효율을 높였다. 실제 실행 환경은 컨테이너 기반의 Amazon ECS(컨테이너 오케스트레이션 서비스)를 사용하여 독립적인 배포와 확장이 가능하게 설계했다. 사용자는 사전에 구축된 에이전트 카탈로그를 통해 자신의 업무 목적에 맞는 전문 에이전트를 선택해 즉시 업무에 투입하는 방식으로 워크플로를 운영한다.

한국 규제 산업의 AI 도입을 위한 실무적 시사점

p4d.24xlarge에서 p5.48xlarge로 인스턴스 체급을 높여 120K에서 128K 토큰의 컨텍스트 길이를 확보했다. 대규모 문서 분석과 다회차 대화가 필요한 실무 업무에서는 GPU 인스턴스의 사양이 곧 모델이 한 번에 처리할 수 있는 정보의 양을 결정한다. vLLM(고성능 LLM 추론 엔진)을 활용한 부하 테스트로 처리량을 검증하고 예약 인스턴스 할인을 적용해 운영 비용을 최적화했다. 하드웨어 자원 선택이 모델의 실질적인 분석 범위를 결정하는 물리적 제약 조건이 된다.

관리형 서비스의 리전 가용성과 자체 호스팅의 운영 공수를 비교하는 것이 도입의 첫 단계다. 데이터 외부 유출이 엄격히 금지된 금융이나 의료 환경에서는 SaaS의 편의성보다 데이터 주권 확보가 우선이며, 이는 ISO 42001(AI 경영시스템 국제 표준) 인증의 핵심 근거가 된다. 단순한 기술적 배포를 넘어 규제 준수라는 거버넌스 체계를 구축하는 과정이다. 인프라 제어권을 완전히 가지는 방식이 인증 획득 기간을 단축하고 심사 대응 효율을 높인다.

복잡한 DAG(유향 비순환 그래프, 작업 순서를 정의한 흐름도) 기반의 워크플로 설계보다 모델 중심의 SDK를 사용하는 것이 에이전트 양산 속도에 유리하다. Strands Agents SDK(모델 중심의 에이전트 개발 도구)처럼 모델의 능력을 직접 활용하는 구조는 오케스트레이션 단계의 복잡도를 낮춘다. 개발자가 복잡한 흐름도를 그리는 시간 대신 프롬프트 최적화와 도구 설정에 집중하게 만든다. 이는 짧은 기간 내에 수십 개의 에이전트를 빠르게 구축하고 배포할 수 있었던 실행 동력이 된다.

데이터 거주성 제약이 있는 환경에서는 관리형 서비스의 지역 가용성을 먼저 확인하고, 미지원 시 vLLM 기반의 자체 호스팅 인프라를 설계한 뒤 모델 중심 SDK를 선택하는 경로가 가장 효율적이다.