2026년 4월 API 공개 후 도입된 저코드-노코드(LCNC) UI

LLM(거대언어모델)을 실제 서비스에 배포할 때 엔지니어는 비용과 성능의 균형을 맞춘 최적의 인스턴스 유형을 찾기 위해 반복적인 테스트를 수행한다. 적절한 사양을 확보하기 위해 여러 인스턴스를 하나씩 대조하며 수동으로 벤치마크를 수행하는 과정은 많은 시간과 인적 자원을 소모한다. 아마존 세이지메이커 AI 스튜디오는 이러한 번거로움을 해결하기 위해 저코드-노코드(LCNC, 코딩을 최소화하거나 하지 않고 기능을 구현하는 방식) 기반의 추론 추천 UI를 도입했다. 아마존 세이지메이커 AI는 2026년 4월 추론 추천 API를 먼저 출시하여 데이터 기반의 프로덕션 구성안을 프로그래밍 방식으로 제공하기 시작했다. 이후 공개된 LCNC UI는 API 사용 시 필요했던 파라미터 설정이나 원시 벤치마크 결과 해석 과정을 생략할 수 있게 돕는다. 이를 통해 인프라 전문 지식이 부족한 팀도 인터페이스 내에서 검증된 구성안을 스스로 확보하고 즉시 배포할 수 있는 환경이 마련되었다.

프리셋 프로필과 3가지 최적화 목표 설정 방식

사용자는 아마존 세이지메이커 AI 스튜디오의 워크로드 구성 단계에서 네 가지 사용 사례 프리셋을 선택하여 최적화 작업을 시작한다. Interact 프로필은 짧은 입력과 적절한 출력이 반복되는 채팅형 워크로드를 모델링하며, Generate 프로필은 출력이 긴 콘텐츠 생성형 작업에 맞춰져 있다. Summarize 프로필은 입력 대비 출력 비율이 높은 문서 요약형 작업에 최적화되어 있으며, 준비된 프리셋이 맞지 않는 경우 Custom 프로필을 통해 사용자가 직접 데이터셋을 가져오고 동시성이나 토큰 길이 같은 세부 설정을 지정할 수 있다. 사용자는 사용 사례 프로필과 함께 세 가지 최적화 목표 중 하나를 설정하여 시스템의 우선순위를 결정한다. Minimize latency는 응답 시간을 최대한 낮추는 설정으로 인터랙티브 애플리케이션에 적합하며, Maximize throughput은 초당 생성 토큰 수를 최대화하여 대량 요청 처리에 유리하다. Minimize cost는 예상 트래픽 범위 내에서 가장 비용 효율적인 구성을 찾는 방식이다. 선택한 목표에 따라 시스템이 적용하는 최적화 기법과 최종 추천 순위가 결정된다.

기존 방식과 달라진 지점

기존의 API 방식은 프로그래밍 기반의 접근으로, 사용자가 직접 파라미터를 설정하고 원시 벤치마크 결과값을 해석해야 했다. 이는 벤치마크 결과로 출력되는 수많은 수치 속에서 어떤 값이 실제 서비스 품질에 영향을 주는지 판단할 수 있는 숙련된 엔지니어의 역량에 전적으로 의존하는 구조였다. 아마존 세이지메이커 AI 스튜디오는 이러한 진입 장벽을 낮추기 위해 LCNC 기반의 추론 추천 UI를 도입했다. UI 방식은 복잡한 수치 해석 과정을 프리셋 프로필 가이드로 대체한다. 결과값 역시 텍스트 형태의 원시 데이터가 아니라 시각적 비교 화면으로 제공되어 어떤 구성이 더 효율적인지 직관적으로 판단 가능하다. 특히 성능 지표에 따라 순위가 매겨진 추론 패키지 목록을 통해 최적의 조합을 한눈에 파악하고, 이를 즉시 적용하는 원클릭 배포 기능까지 제공하여 설정부터 배포까지의 단계를 대폭 줄였다. 다만 세밀한 제어가 필요한 고급 사용자를 위해 API를 통한 프로그래밍 방식의 접근은 여전히 유지된다.

TTFT·ITL 지표 확인부터 원클릭 배포까지의 흐름

추천 결과는 Overview 탭에서 성능 지표에 따라 순위가 매겨진 추론 패키지 목록으로 제공된다. 여기서 TTFT(Time to First Token, 첫 토큰 생성 시간)는 사용자가 요청을 보낸 후 첫 번째 토큰이 생성될 때까지의 시간을 의미하며, ITL(Inter-token Latency, 토큰 간 생성 간격)은 이후 토큰들이 생성되는 사이의 간격을 나타낸다. 여기에 초당 처리하는 토큰 수인 Throughput(처리량)과 예상 Cost(비용)가 함께 표시된다. 사용자는 이 네 가지 지표를 직접 대조하며 응답 속도가 중요한 채팅 서비스인지 혹은 대량 처리가 중요한 배치 작업인지에 따라 최적의 패키지를 선택한다. 원하는 패키지의 Deploy 버튼을 누르면 모델 등록부터 실제 서비스 가능 상태까지의 과정이 자동화된다. 시스템은 먼저 최적화된 모델을 등록하고, 이어서 엔드포인트 설정을 수행하며, 마지막으로 실제 컴퓨팅 자원을 할당하는 엔드포인트 프로비저닝 단계를 순차적으로 실행한다. 이 과정에서 사용자는 엔드포인트 이름과 인스턴스 유형이 미리 채워진 설정 창을 통해 내용을 최종 확인하고 배포를 완료한다.

한국 AI 실무자를 위한 인프라 최적화 판단 기준

인프라 최적화는 더 이상 수동 테스트와 시행착오의 영역이 아니라 데이터 기반의 선택 과정으로 전환되었다. 아마존 세이지메이커 AI 스튜디오는 Jobs, Inference optimization, Create, Optimize, Deploy로 이어지는 정형화된 경로를 통해 인프라 구성 시간을 단축한다. 표준 프리셋으로 해결되지 않는 특수한 워크로드의 경우 실무자는 평가 데이터셋이 저장된 S3 URI를 JSONL(각 줄이 하나의 JSON 객체로 구성된 텍스트 형식) 형태로 제공하여 모델이 처리해야 할 실제 데이터의 특성을 반영한다. 여기에 동시에 처리해야 할 요청 수인 Concurrency와 모델이 내뱉을 최대 출력 토큰 길이를 구체적으로 설정한다. 이는 단순히 이론적인 성능을 측정하는 것이 아니라, 실제 서비스의 평균 입력 길이와 동시 접속자 수라는 변수를 인프라 최적화 과정에 직접 주입하여 실측 기반의 최적화 값을 얻는 작업이다. 결과적으로 인프라 전문 지식이 부족한 팀이라도 TTFT와 ITL 같은 핵심 지표를 기준으로 검증된 구성을 스스로 확보해 즉시 배포할 수 있다. 모델의 추론 능력을 실제 서비스 가치로 전환하는 마지막 관문인 인프라 구성이 데이터 기반의 확신 영역으로 바뀐 셈이다.