데이터 이동을 제거하는 AWS의 'Zero Migration' 통합 전략

AWS는 데이터 저장소를 새로 도입하는 대신 Amazon S3, OpenSearch, Aurora, DynamoDB, ElastiCache for Valkey, Neptune 등 기존 저장소에 벡터 기능을 직접 통합하여 데이터 이동과 복제 과정을 없앴다. AI 에이전트가 정확한 답변을 내놓기 위해 필요한 문맥을 찾을 때 데이터를 다른 곳으로 옮겨야 했던 기존의 번거로운 작업을 제거하고, 데이터가 저장된 위치에서 직접 검색을 수행해 인프라 관리 포인트를 줄였다.

기존 방식은 PDF 문서, 화상 회의 기록, 데이터베이스 등 흩어져 있는 비정형·정형 데이터를 전용 벡터 데이터베이스로 복제해야 했으며, 이 과정에서 데이터 동기화 오류나 추가 저장 비용이 발생했다. AWS는 이를 해결하기 위해 벡터 검색 솔루션이 데이터를 따라가야 한다는 원칙을 세우고, 기존 데이터 스토어에 벡터 기능을 추가함으로써 서비스 간 홉(hop)을 제거하고 네이티브 쿼리 기능을 결합했다.

사용자는 익숙한 데이터 저장소 인터페이스를 그대로 유지하며 벡터 기능을 추가할 수 있어, 새로운 프로그래밍 도구나 API, SDK의 사용법을 익히는 학습 곡선을 제거한다. 또한 기존 서비스가 이미 생산 환경에서 검증한 확장성, 가용성, 성능 요구사항을 그대로 활용할 수 있다. 특히 원본 데이터와 벡터가 동일한 위치에 저장됨에 따라 데이터 동기화 걱정 없이 애플리케이션 실행 속도를 높이고 기존 투자 자산을 활용해 비용을 절감한다.

고성능 하이브리드 검색을 구현하는 Amazon OpenSearch Service

Amazon OpenSearch Service는 단일 시스템 내에서 어휘 검색, 벡터 검색, 그리고 이를 결합한 하이브리드 검색을 동시에 제공하여 높은 처리량과 낮은 지연 시간을 구현한다. 이 엔진은 수십억 개의 벡터 볼륨을 지원하며, 월간 활성 고객 10만 명 이상이 매달 10조 건 이상의 요청을 처리하는 대규모 환경에서 안정적으로 작동한다.

엔지니어는 GPU 가속 기능을 통해 대규모 데이터셋의 인덱싱 속도를 최대 10배 높이는 동시에 인덱싱 비용을 기존의 4분의 1 수준으로 낮출 수 있다. 또한 메모리 효율을 위해 고차원 벡터를 저차원으로 압축하는 벡터 양자화 기술을 적용하고, 메타데이터 필터링을 통해 특정 조건의 데이터셋 내에서만 유사도 검색을 수행하도록 설정한다.

운영자는 데이터 접근 빈도에 따라 저장 계층을 분리하여 비용을 최적화한다. 고성능 SSD 기반의 핫 스토리지와 더불어 저비용 저장 계층인 UltraWarm 및 Writable Warm 티어를 활용해 데이터 규모가 확장되어도 저장 비용 증가 폭을 억제한다. 머신러닝 기반의 자동 최적화 기능은 데이터 특성을 분석해 최적의 구성 설정을 자동으로 선택함으로써 관리자의 수동 튜닝 공수를 제거한다.

서버리스 확장성과 엔터프라이즈 적용 사례

Amazon OpenSearch Serverless는 이전 세대 대비 오토스케일링 속도를 20배 높여 수 초 만에 프로비저닝을 완료하고, 초당 수천 건의 요청으로 빠르게 확장하는 동적 워크로드 대응 능력을 갖췄다. 특히 유휴 상태에서는 리소스를 0으로 축소하여 피크 타임에 맞춰 프로비저닝하는 방식 대비 최대 60%의 비용을 절감하며, 사용자가 소비한 용량에 대해서만 비용을 지불하는 구조를 제공한다.

Adobe는 수억 명의 사용자에게 대화형 생성 AI 서비스를 제공하는 Acrobat AI Assistant의 확장성을 확보하기 위해 OpenSearch Service를 도입했다. Adobe의 문서 생태계에 직접 통합된 이 엔진은 분산 처리 능력과 벡터 검색 성능을 통해 실시간 서비스 수준의 지연 시간과 처리량을 충족하며 서비스 안정성을 확보했다.

이 솔루션은 RAG(검색 증강 생성), 이상 징후 탐지, 멀티모달 콘텐츠 발견 등 복잡한 검색 쿼리와 에이전트 기반 상호작용이 필요한 기업용 AI 애플리케이션의 기반이 된다. 특히 지연 시간, 벡터 볼륨, 초당 쿼리 수(QPS), 비용 효율성 사이에서 가장 넓은 유연성을 제공하므로, 단일 지배적 요구사항이 없는 대부분의 신규 워크로드에 기본 선택지로 권장된다.

90% 비용 절감을 실현하는 Amazon S3 Vectors

Amazon S3 Vectors는 클라우드 객체 스토리지 최초로 벡터 저장 및 쿼리 기능을 네이티브하게 지원하여, 전문 벡터 데이터베이스 대비 업로드, 저장, 쿼리 비용을 최대 90%까지 낮췄다. 별도의 서버 설정이나 클러스터 관리 없이 S3의 비용 구조와 확장성을 그대로 활용해 억 단위 규모의 벡터 인덱스를 경제적으로 유지할 수 있다.

사용자는 S3 API를 통해 벡터와 인덱스를 직접 제어하며, 정식 출시 이후 고객들은 프리뷰 기간 대비 5배 이상 증가한 일평균 수천만 건의 쿼리를 수행하고 있다. 데이터가 S3 단일 저장소에 머물기 때문에 벡터 데이터와 원본 콘텐츠 사이의 동기화 과정이 생략되어 AI 에이전트의 장기 기억 장치나 방대한 문서의 시맨틱 검색에 즉시 적용 가능하다.

최근 업데이트를 통해 단일 쿼리당 검색 결과 반환 수를 최대 10,000개로 확대하여, 기존 대비 100배 증가한 결과셋을 제공한다. 이는 1차로 대량의 후보군을 추출한 뒤 리랭킹(Reranking), 집계, 중복 제거를 거쳐 최종 결과를 도출하는 다단계 검색 파이프라인의 정밀도를 높이는 데 기여한다.

또한 벡터 수가 1,000만 개를 초과하는 대규모 인덱스의 쿼리 비용을 최대 80% 인하하여 대규모 RAG 운영 시 발생하는 비용 부담을 줄였다. BMW 그룹은 Amazon Bedrock AgentCore 기반의 지능형 검색 에이전트를 구축하며 S3 Vectors를 활용해 20페타바이트(PB) 규모의 데이터 레이크에서 데이터 이동 없이 자연어 쿼리를 수행함으로써 엔지니어링 작업 효율을 높였다.

지연 시간과 비용 기반의 벡터 엔진 결정 모델

사용자는 워크로드의 지배적인 요구사항이 지연 시간(Latency), 비용(Cost), 액세스 패턴(Access Pattern) 중 무엇인지 식별하여 최적의 엔진을 선택해야 한다. 결정의 핵심 임계값은 쿼리 지연 시간 100ms와 초당 쿼리 수(QPS), 그리고 데이터셋의 규모와 예산 구조에 따라 갈린다.

실시간 응답성과 높은 처리량이 필수적인 서비스라면 Amazon OpenSearch Service를 선택한다. 수억 명 규모의 사용자를 대상으로 하거나, 하이브리드 검색(어휘+벡터)을 통해 검색 정확도를 극대화해야 하며, 밀리초 단위의 낮은 지연 시간이 서비스 수준 협약(SLA)의 핵심인 경우에 적합하다.

반면 쿼리 빈도가 낮고 대규모 데이터셋의 비용 효율적 저장이 우선이라면 Amazon S3 Vectors를 선택한다. 쿼리 지연 시간이 100ms 이상 발생해도 무방하며, 성능보다 저장 및 쿼리 비용 절감이 지배적인 요구사항인 아카이브 성격의 벡터 데이터 관리에 유리하다.

결론적으로 쿼리 빈도가 낮고 대규모 데이터셋의 비용 효율적 저장이 우선이라면 S3 Vectors를, 수억 명 규모의 실시간 응답과 높은 QPS가 필수적인 서비스라면 OpenSearch Service를 선택하는 것이 구체적인 실행 기준이다.