GPT-5.6 Sol·Terra·Luna 출시와 272K 컨텍스트

OpenAI GPT-5.6 Sol, Terra, Luna 세 가지 모델이 Amazon Bedrock에서 일반 제공(GA, 모든 사용자가 정식으로 사용할 수 있는 상태)되었다. 이 조치로 에이전트 기반 코딩이나 장기 추론, 대량 추론 워크로드(작업 부하)를 구축하는 개발자는 별도의 모델 인프라를 운영하지 않고도 프론티어 모델을 호출할 수 있다. 이는 AWS의 보안, 리전별 처리, 비용 제어 기능을 그대로 활용하면서 모델 성능을 끌어올리는 방식이다. AWS 인프라 내에서 모델을 직접 호출함으로써 인프라 통합과 모델 최적화를 동시에 수행하는 구조다.

모든 GPT-5.6 모델은 272K-토큰 컨텍스트 윈도우를 지원한다. 컨텍스트 윈도우는 모델이 한 번에 처리하고 기억할 수 있는 텍스트의 양을 뜻한다. 272K-토큰의 용량은 방대한 양의 문서를 한 번에 입력하여 분석하거나 매우 긴 맥락의 추론이 필요한 작업에서 데이터 손실 없이 정보를 처리하는 것을 가능하게 한다. 특히 텍스트뿐만 아니라 이미지 입력까지 처리하는 멀티모달 능력을 갖추어 시각적 정보가 포함된 복잡한 데이터 분석 작업에 활용된다. 출력은 텍스트 형태로 제공된다.

모델 접근은 `bedrock-mantle` 엔드포인트(서비스와 통신하기 위한 접점)를 통해 이루어진다. OpenAI Responses API를 사용하며 기본 URL은 다음과 같다.

https://bedrock-mantle.{region}.api.aws/openai/v1/responses

여기서 {region} 부분은 us-east-1과 같이 지원되는 AWS 리전으로 변경하여 사용한다. 이 경로는 OpenAI 모델 전용으로 설계되었으며, 기존 OpenAI SDK 애플리케이션을 Amazon Bedrock으로 이전할 때 기본 URL과 모델 ID만 수정하여 즉시 적용할 수 있다.

GPT-5.6 모델들은 AWS의 보안 체계와 리전별 처리 방식, 비용 제어 기능을 그대로 따른다. 데이터 처리 과정에서 분류기로 식별된 트래픽은 자동화된 오프라인 남용 탐지를 위해 최대 30일 동안 보관된다. 보관된 입력과 출력 데이터는 AWS가 저장하고 처리하며, 사용자가 동의하지 않는 한 모델 제공자인 OpenAI와 공유되지 않는다. 사용자는 데이터 보관 모드 설정을 통해 이 보관 구성 방식을 직접 제어한다.

이 모델들은 차세대 추론 엔진 위에서 구동된다. Amazon Bedrock 콘솔은 bedrock-mantle 엔드포인트와 OpenAI 및 Anthropic 호환 API에 최적화된 새로운 사용자 경험을 제공한다. 이를 통해 개발자는 AWS의 관리형 인프라 환경에서 보안과 성능을 유지하며 모델을 배포하고 운영할 수 있다.

bedrock-mantle 엔드포인트 통합 및 추론 제어

GPT-5.6 모델을 실행하려면 AWS 계정에서 `bedrock-mantle` 엔드포인트에 대한 추론 권한이 먼저 확보되어야 한다. 가장 효율적인 방법은 IAM(Identity and Access Management, AWS의 사용자 권한 관리 체계) 주체에 AmazonBedrockMantleInferenceAccess 관리형 정책을 연결하는 것이다. 이 정책은 추론 세션을 생성하는 bedrock-mantle:CreateInference 권한과 베어러 토큰을 통해 호출하는 bedrock-mantle:CallWithBearerToken 권한을 포함한다. 관리형 정책을 사용하면 개별 권한을 일일이 설정하지 않고도 모델 실행에 필요한 최소 권한 세트를 즉시 적용할 수 있다. 인프라 수준에서 보안 정책을 관리하므로 기존 AWS 보안 체계 내에서 모델 접근 제어가 가능하다.

개발 환경은 OpenAI Python 및 TypeScript SDK(Software Development Kit, 소프트웨어 개발 도구 모음)와 호환된다. 기존 OpenAI API를 사용하던 환경에서 설정 변경을 최소화하여 Bedrock으로 전환할 수 있는 구조다. 특히 TypeScript SDK 지원을 통해 웹 기반 애플리케이션 개발 환경에서도 동일한 인터페이스로 모델을 호출할 수 있다. Python 환경에서는 2.45.0 버전 이상의 SDK 설치가 필수적이다.

pip install openai>=2.45.0

설치된 SDK는 bedrock-mantle 엔드포인트와 통신하며 API 요청을 처리한다. 이는 개발자가 새로운 라이브러리를 학습하거나 API 규격을 다시 정의하지 않고도 기존의 코드 구조를 유지하며 모델을 교체할 수 있게 한다.

추론 강도는 `reasoning` 파라미터를 통해 세부적으로 조절한다. 모델은 복잡한 다단계 작업에서 최종 답변을 내놓기 전 내부적으로 추가적인 추론 토큰을 생성하여 논리적 단계를 밟는다. 설정 가능한 단계는 none, low, medium, high, xhigh, max 총 6가지다.

추론 강도를 높이면 복잡한 문제에 대한 정답률은 상승하지만 응답 지연 시간과 비용이 함께 증가한다. 추론 토큰의 소비량이 늘어날수록 모델이 생각하는 시간이 길어지기 때문이다. 작업의 복잡도에 따라 이 파라미터를 조정하면 동일한 모델 내에서도 성능과 효율의 균형을 맞출 수 있다. Sol, Terra, Luna 세 모델 모두 동일한 reasoning 파라미터 체계를 지원하므로 API 통합 구조를 바꾸지 않고 모델만 교체하여 최적의 추론 강도를 찾을 수 있다.

워크로드별 모델 티어 선택과 도구 호출(Tool Calling)

GPT-5.6는 추론 복잡도와 응답 속도 요구치에 따라 Sol, Terra, Luna 세 가지 티어로 구분해 제공한다. Sol은 고도의 논리적 추론이 필요한 복잡한 작업에 최적화된 플래그십 모델이다. Terra는 성능과 비용의 균형을 맞춘 모델로 일반적인 서비스 프로덕션 환경에서 범용적으로 사용한다. Luna는 응답 지연 시간에 민감한 실시간 추론을 위해 속도와 저비용 구조에 최적화했다. 작업의 난이도에 따라 모델을 교체 배치하면 동일한 인프라 내에서 추론 비용을 낮추면서도 필요한 성능 수준을 유지할 수 있다. 이는 모든 요청에 최고 성능 모델을 사용하는 낭비를 줄이는 선택지다.

모델이 외부 함수를 요청하고 그 결과를 받아 응답을 완성하는 도구 호출(Tool Calling) 기능을 지원한다. 도구 호출은 모델이 텍스트 생성만으로는 해결할 수 없는 실시간 데이터 조회나 외부 시스템 제어를 수행할 때 활용한다. 작동 방식은 모델이 정의된 도구의 사용 필요성을 판단해 호출을 요청하면 애플리케이션이 해당 도구를 실행하고 그 결과값을 다시 모델에 전달하는 순서로 이뤄진다. 예를 들어 날씨 조회 도구를 설정하면 모델이 `get_weather`와 같은 함수 호출을 요청하고 애플리케이션이 실제 기상 데이터를 반환하며 모델이 이를 종합해 최종 답변을 내놓는다. 이러한 구조는 모델의 지식 한계를 외부 도구의 정확도로 보완하는 역할을 한다.

이전 응답의 결과물을 다음 요청의 입력 리스트에 추가해 컨텍스트를 유지하는 추론 토큰 피드백 루프를 구현한다. 모델이 생성한 output을 다음 요청의 input으로 다시 밀어 넣는 방식으로 앞선 추론 과정을 기억하게 만든다. 이는 대화형 인터페이스나 다단계 추론 과정에서 모델이 이전 단계의 결정 사항을 잊지 않고 일관된 논리를 유지하도록 돕는다. 상태를 저장하지 않는 무상태성 API 구조에서도 입력 리스트의 누적을 통해 가상의 상태를 유지하는 효과를 낸다. 결과적으로 사용자는 복잡한 워크플로우에서도 끊김 없는 문맥 연결을 경험할 수 있으며 모델은 이전 단계의 출력값을 근거로 다음 추론을 정교화한다.

프롬프트 캐싱을 통한 입력 토큰 90% 비용 절감

캐시된 입력 토큰은 일반 입력 토큰 대비 90% 할인된 비용으로 청구된다. 프롬프트 캐싱은 시스템 지침이나 도구 정의처럼 반복해서 사용되는 텍스트를 미리 저장해 두었다가 재사용하는 기술이다. 단, 캐싱을 적용하려면 접두사(Prefix, 프롬프트의 앞부분)가 최소 1,024토큰 이상이어야 한다. 이 기준보다 짧은 접두사는 요청은 정상적으로 처리되지만 캐싱되지 않으며 `cached_tokens` 수치는 0으로 남는다. 대규모 컨텍스트를 반복 사용하는 환경에서 입력 비용의 임계점을 낮추는 효과가 있다.

캐싱 방식은 암시적 캐싱과 명시적 캐싱 두 가지로 구분된다. 암시적 캐싱은 기본적으로 활성화되어 있어 별도의 코드 수정 없이 조건에 맞는 요청을 자동으로 캐싱한다. 정밀한 제어가 필요한 경우에는 `prompt_cache_breakpoint` 식별자를 사용해 캐시 지점을 직접 지정하는 명시적 캐싱을 적용한다. 개발자는 요청당 최대 4개의 캐시 지점을 설정하여 반복되는 컨텍스트의 재사용 효율을 높일 수 있다. 이는 프롬프트의 어느 지점까지를 고정된 데이터로 볼 것인지 개발자가 직접 결정하여 최적화하게 한다.

캐시를 처음 생성할 때 발생하는 캐시 쓰기 토큰은 일반 입력 토큰보다 1.25배 높은 비용이 책정된다. 초기 쓰기 비용은 일반 요청보다 높지만 이후 동일한 접두사를 공유하는 후속 요청에서 90% 할인을 받으므로 전체 청구 금액은 낮아진다. 저장된 콘텐츠는 최소 30분간 유지된다. 이는 단일 에이전트가 수행하는 일련의 연속적인 호출 묶음을 처리하기에 충분한 시간이다. 일시적인 트래픽 급증 상황에서도 캐시된 데이터를 통해 처리 비용을 안정적으로 유지하며 응답 효율을 높인다.

동일한 캐시 라우팅을 보장하고 일치율을 향상시키기 위해 `prompt_cache_key`를 활용한다. 에이전트 기반의 다단계 작업은 호출 사이에 많은 컨텍스트를 공유하므로 이 기능의 효과가 크다. 시스템 지침과 도구 정의, 참조 파일은 고정하고 최신 입력값만 변경하는 구조에서 비용 절감 폭이 극대화된다. 고부하 에이전트 작업의 운영 비용을 실질적으로 낮추는 장치다. 반복적인 컨텍스트 처리에 소요되는 자원을 줄여 전체적인 추론 파이프라인의 경제성을 확보한다.

AWS VPC 기반의 데이터 보안 및 거버넌스

모든 모델 호출은 AWS IAM(Identity and Access Management, 사용자 권한 관리 서비스) 정책의 제어를 받으며 VPC(Virtual Private Cloud, 가상 프라이빗 클라우드) 내부에서 실행된다. 모든 요청 내역은 AWS CloudTrail(API 활동 기록 서비스) 로그에 기록되어 누가, 언제, 어떤 모델을 호출했는지에 대한 전수 조사가 가능하다. 기업은 기존에 구축한 네트워크 보안 경계 내에서 AI 모델을 호출하므로 외부 인터넷 노출 위험을 물리적으로 차단한다. 이는 별도의 보안 게이트웨이를 추가로 구축하지 않고도 클라우드 네이티브 환경에서 접근 권한과 실행 경로를 강제하며 기업 내부의 기존 권한 체계와 통합할 수 있는 구조다.

In-Region 추론 기능을 통해 사용자가 지정한 AWS 리전(물리적 데이터 센터 지역) 내에서만 모든 요청을 처리한다. 데이터가 특정 국가나 지역의 경계를 넘지 않아야 하는 데이터 거주성 요구사항을 충족하는 핵심 장치다. 특히 금융이나 공공 분야처럼 엄격한 법적 컴플라이언스를 준수해야 하는 환경에서 데이터 유출 경로를 원천적으로 제한하는 효과가 있다. 입력한 프롬프트와 생성된 결과물은 모델 학습에 사용되지 않으며 제공업체와 공유되지 않는다. 이는 일반적인 퍼블릭 AI 서비스에서 발생하는 데이터 학습 전용 가능성을 인프라 수준에서 배제하여 기업의 핵심 지식재산권을 보호하는 장치다.

남용 탐지 시스템은 분류기로 플래그가 지정된 트래픽을 자동 오프라인 탐지를 위해 최대 30일간 보관한다. 이는 비정상적인 요청 패턴이나 정책 위반 사례를 사후 분석하여 보안 취약점을 보완하고 오남용 사례를 추적하기 위한 최소한의 안전장치다. 사용자는 데이터 보관 모드(Data retention mode) 설정을 통해 이 보관 기간과 범위를 직접 제어할 수 있다. 이는 보안 감사 요구사항이 낮은 환경에서는 보관을 최소화하고, 고도의 보안이 필요한 환경에서는 기록을 유지하는 유연한 운영을 가능하게 한다. 기업의 내부 보안 규정에 따라 데이터의 보관 여부와 파기 시점을 결정함으로써 데이터 생명주기 관리와 거버넌스 체계를 완성한다.

워크로드의 추론 강도와 비용, 속도 요구치에 따라 Sol, Terra, Luna 중 최적의 모델을 선택하고, 1,024토큰 이상의 반복 구간에는 프롬프트 캐싱을 적용하는 것이 비용 절감의 핵심 기준이다.