비 오는 수요일 오후, 대학 연구실. 책상 위에는 수백 페이지에 달하는 법률 문서와 규정집이 산더미처럼 쌓여 있고, 연구원은 형광펜을 든 채 몇 시간째 같은 문장을 반복해서 읽고 있다. 필요한 정보를 찾기 위해 수십 개의 폴더를 뒤지며 과거의 기록을 대조하는 이 고된 풍경이, 이제는 인공지능의 도움으로 곧 바뀐다.

Amazon 재무 기술팀의 규제 대응 자동화

Amazon의 재무 기술(FinTech) 팀은 전 세계 각국 정부와 기관에서 쏟아지는 규제 관련 문의를 처리하는 시스템을 운영한다. 각국마다 요구하는 문서 형식과 규제 수준이 제각각이라, 담당자들은 수천 건의 과거 문서(PDF, PPT, Word, CSV 등)를 일일이 검토하고 내부 시스템에서 데이터를 추출해 답변을 작성해야 했다. 최근 문의 빈도가 급증하면서 기존의 수동 방식으로는 대응 속도를 맞추기 어려워졌고, 이에 따라 Amazon은 Amazon Bedrock(기업용 생성형 AI 개발 플랫폼)을 중심으로 한 확장 가능한 AI 애플리케이션을 도입했다. 이 시스템은 각 팀이 자신들의 고유한 문서와 참고 자료를 담은 전용 지식 베이스를 구축하고 유지 관리하는 방식으로 운영된다.

RAG와 서버리스 아키텍처로 구현한 정보 검색

예전에는 담당자가 직접 수천 개의 파일을 열어보며 관련 사례를 찾았지만, 이제는 RAG(검색 증강 생성, 외부 데이터를 참조해 AI가 답변하게 하는 기술)를 통해 AI가 직접 필요한 정보를 찾아낸다. Amazon Bedrock Knowledge Bases(AI가 참조할 지식 저장소)와 Amazon OpenSearch Serverless(검색을 위해 데이터를 수치화해 저장하는 데이터베이스)를 결합해 방대한 문서를 검색 가능한 형태로 변환했다. 또한, Claude 3.5 Sonnet(Anthropic의 고성능 AI 모델)을 Converse Stream API(AI와 실시간으로 대화를 주고받는 도구)와 연결해 사용자가 답변을 기다리는 동안 실시간으로 텍스트가 생성되도록 구현했다. 대화 기록은 Amazon DynamoDB(빠른 속도의 데이터 저장소)에 저장되어, 이전 대화 맥락을 유지하며 여러 번에 걸친 복잡한 질의응답을 가능하게 한다.

대화 맥락 유지와 시스템 관측 가능성

개발자가 바로 체감하는 변화는 시스템의 관측 가능성이다. 생성형 AI는 답변의 정확도만큼이나 왜 그런 답변이 나왔는지 파악하는 것이 중요하다. 규제 대응 업무는 작은 실수도 법적 위반으로 이어질 수 있기 때문에, 팀은 OpenTelemetry(시스템 상태를 추적하는 도구)와 Langfuse(AI 모델의 성능을 모니터링하는 도구)를 활용해 모델이 환각 현상(AI가 거짓 정보를 사실처럼 말하는 현상)을 일으키는지, 혹은 오래된 규정 가이드를 참조하지는 않는지 실시간으로 감시한다. 특히 규제 문의는 매번 상황이 다르기 때문에 답변을 미리 저장해두는 캐싱 방식 대신, 매번 실시간으로 문맥을 파악해 답변을 생성하는 방식을 택했다.

보안과 확장성을 고려한 워크플로우

사용자가 질문을 입력하면 시스템은 먼저 프롬프트 인젝션(AI에게 악의적인 명령을 주입하는 공격)을 방지하기 위해 입력을 정화하는 과정을 거친다. 이후 Amazon Cognito(사용자 인증 및 권한 관리 서비스)를 통해 보안을 확보하고, 각 대화 세션에 고유 ID를 부여해 연속성을 보장한다. 이러한 자동화 파이프라인은 문서가 업로드되는 즉시 데이터를 벡터 임베딩(컴퓨터가 이해할 수 있는 수치 데이터)으로 변환하여, 규제 문의가 늘어나도 일관된 성능을 유지할 수 있도록 설계되었다.

규제 대응의 핵심은 단순한 속도 향상이 아니라, 방대한 과거 기록 속에서 현재의 정확한 근거를 찾아내는 정밀함에 있다.