발표에서 확인된 핵심 사실

AI 서비스가 사용자에게는 공짜처럼 보이지만, 기업 입장에서는 매 순간 천문학적인 전기료와 칩 비용이 나간다. 이 비용을 낮추는 가장 확실한 방법은 시장에 나온 범용 제품을 사는 대신, 자사 서비스 특성에 딱 맞춘 전용 칩을 직접 설계하는 것이다. 앤스로픽이 바로 이 맞춤형 AI 칩 개발을 위해 삼성과 협력 방안을 논의 중이다.

The Information 보도에 따르면 앤스로픽은 현재 펜딩 중인 칩 프로젝트와 관련해 삼성과 접촉하며 협력 가능성을 모색했다. 다만 칩을 구체적으로 어떤 용도로 사용할지, 데이터센터 서버에 어떤 방식으로 배치할지, 그리고 어느 정도의 성능 수준을 목표로 할지는 아직 결정하지 않은 상태다. 세부적인 기술 스펙을 확정하기 전, 협력 체계라는 큰 틀을 먼저 맞추는 탐색 단계에 있다.

동시에 앤스로픽은 특정 하드웨어 제조사에 종속되지 않는 다각화 전략을 고수한다. 에 보낸 답변을 통해 구글, 아마존, 엔비디아의 칩을 모두 포함하는 다각화된 하드웨어 스택(칩과 소프트웨어의 전체 구성)을 계속 활용하는 것이 자사의 컴퓨팅 전략에서 중추적인 역할을 할 것이라고 밝혔다. 특정 제조사의 공급 상황이나 가격 변동에 휘둘리지 않고 인프라를 안정적으로 확보해 자원 활용의 유연성을 높이려는 계산이다.

Broadcom과 협력하여 맞춤형 추론 프로세서인

챗봇의 답변 속도가 눈에 띄게 빨라지거나 서비스 이용료가 내려가는 순간은 보통 보이지 않는 하드웨어가 바뀔 때 일어난다. OpenAI는 Broadcom과 손잡고 맞춤형 추론 프로세서인 Jalapeño를 발표했다. 추론 프로세서는 이미 모든 공부를 마친 AI가 사용자의 질문에 정답을 내놓는 시험 과정만 전담하는 칩이다. OpenAI는 이 칩이 다른 경쟁사 제품보다 전력 1와트당 처리 성능인 전성비가 더 뛰어나며 운영 효율이 높다고 주장한다. 자동차의 연비가 좋을수록 적은 연료로 멀리 가듯, 전성비가 높은 칩은 적은 전기로 더 많은 데이터를 처리해 운영 비용을 획기적으로 낮춘다.

클라우드 시장의 강자인 Amazon과 Google은 이미 한발 앞서 맞춤형 TPU를 서비스의 핵심으로 활용하고 있다. TPU는 AI의 핵심 연산인 행렬 계산을 빠르게 처리하도록 설계한 맞춤형 칩이다. 일반적인 프로세서가 여러 일을 두루 잘하는 다목적 도구라면, TPU는 AI 연산이라는 특정 작업만 빠르게 해내는 전용 도구에 가깝다. 두 기업은 자체적으로 구축한 TPU를 클라우드 오퍼링, 즉 기업들이 빌려 쓰는 가상 서버 서비스의 일부로 제공하며 하드웨어 경쟁력을 확보했다. 외부 칩에 의존하지 않고 자체 설계한 칩을 클라우드 환경에 직접 통합해 최적의 성능을 끌어내는 방식이다. 하드웨어 최적화가 AI 서비스의 가격 경쟁력과 직결되는 흐름이 뚜렷해지고 있다.

확인해야 할 핵심 지점

꼭 필요한 도구가 하나뿐인데 가격까지 계속 오르면 답답하기 마련이다. 현재 AI 업계가 겪는 상황이 이와 비슷하다. 엔비디아가 칩 산업의 독보적인 리더로 군림하며 시장을 장악하자, 많은 AI 기업들이 특정 컴퓨팅 작업에 최적화된 고유 하드웨어를 직접 구축하려 한다. 범용 칩 대신 특정 연산에만 맞춘 맞춤형 칩을 개발해 일정 수준의 독립성을 확보하려는 전략이다. 정해진 용도에만 집중해 효율을 극대화하는 전용 설계 방식을 통해 비용 부담을 덜고 처리 속도를 높이려는 계산이다.

삼성은 이미 엔비디아의 핵심 파트너로서 AI 모델을 학습시키거나 실제로 실행하는 데 필요한 칩을 생산하며 생태계 깊숙이 들어와 있다. 칩을 제조하는 과정에서 엔비디아가 제공하는 소프트웨어를 활용해 생산 공정을 최적화하고 정밀하게 관리한다. 두 회사는 여기서 더 나아가 한국 땅에 AI 칩 전용 공장을 설립하기 위해 구체적으로 협력하고 있다. 삼성의 제조 역량이 엔비디아의 설계 능력과 결합해 하드웨어 공급망을 더 단단하게 묶으려는 움직임이다.

이러한 협력 관계는 단일 파트너에 그치지 않고 다각도로 뻗어 있다. 삼성은 구글과도 칩 제조 협력을 논의하며 글로벌 제조 파트너로서의 입지를 넓혀 왔다. 글로벌 AI 기업들이 각자의 목적에 맞는 칩을 원할 때, 이를 실제로 구현해낼 수 있는 제조 기반을 한국에 갖추겠다는 의도다. 맞춤형 칩 시대의 실질적인 경쟁력은 설계도만큼이나 이를 정교하게 찍어낼 수 있는 공장 확보와 제조 기술력에서 결정된다.

전기료와 칩 비용이라는 보이지 않는 벽을 넘으려는 시도가 빨라지고 있다. 앤스로픽이 삼성과 논의하는 전용 칩은 AI가 답을 내놓는 과정인 추론에만 최적화해 전성비, 즉 전력 대비 성능을 극대화하는 것이 핵심이다. 오픈AI의 할라피뇨가 보여준 것처럼 하드웨어의 효율이 곧 서비스의 경제성으로 이어진다.

이제 AI의 경쟁력은 모델의 크기가 아니라 이를 얼마나 효율적으로 돌릴 수 있는 전용 하드웨어를 가졌느냐에서 갈린다. 앞으로 챗봇의 답변 속도가 체감될 정도로 빨라지거나 이용료가 내려간다면, 그 뒤에 어떤 맞춤형 칩이 작동하고 있는지 살펴보자.