facts

초당 최대 16,960토큰을 처리하는 추론 성능을 구현하기 위해 AMD가 토론토 기반의 AI 칩 스타트업 타알라스(Taalas)를 인수했다. 이번 인수는 단순 인력 확보를 위한 '에퀴하이어(Acquihire)'가 아닌 기업 전체 인수 방식으로 진행됐다. 거래 조건은 공개되지 않았으나, 규제 당국의 승인을 거쳐 4분기에 최종 마무리될 예정이다.

기존 GPU가 HBM(고대역폭 메모리)에 모델 가중치를 저장하고 불러오는 방식이라면, 타알라스의 접근법은 가중치를 실리콘에 직접 각인하는 방식이다. 이를 통해 모델 전용 집적 회로인 MSIC(Model-Specific Integrated Circuits)를 구축한다. 칩 구조는 모델 가중치가 각인된 '마스크-ROM 리콜 패브릭'과 KV 캐시 및 미세 조정(Fine-tuning) 어댑터가 저장되는 'SRAM 리콜 패브릭'의 두 영역으로 나뉜다.

TSMC 6nm 공정으로 제작된 1세대 테스트 칩 'HC1'은 메타(Meta)의 Llama 3.1 8B 모델을 구동했을 때 초당 16,960토큰을 쏟아냈다. 이는 엔비디아(Nvidia) GPU보다 48배, 세레브라스(Cerebras) 가속기보다 8.5배 빠른 속도다. 올여름 출시 예정인 2세대 'HC2' 칩은 칩당 파라미터 수를 200억 개(20B)까지 높이는 것을 목표로 한다. 파이프라인 병렬 처리 방식을 적용하면 가속기 50개만으로 1조 개의 파라미터를 가진 모델을 지원할 수 있다.

market-flow

추론 아키텍처의 변화는 프롬프트 처리와 토큰 생성의 분리에서 시작된다. AMD는 연산 집약적인 프롬프트 처리는 기존 인스팅트(Instinct) GPU가 담당하고, 토큰 생성은 타알라스 기반 가속기로 오프로딩하는 분리형 아키텍처를 구상하고 있다. 이는 엔비디아의 LPX 시스템이 동일 모델 서비스에 수십 개의 GPU와 최소 2,000개의 그록(Groq) LPU를 필요로 하는 것보다 공간과 전력 효율 면에서 유리하다.

토큰당 비용이 낮아지면 모델 개발자가 선택할 수 있는 전략이 바뀐다. 최근 환각 현상을 줄이기 위해 모델이 응답 전 더 오래 '생각'하게 만드는 '테스트 시간 스케일링(Test-time scaling)' 기법이 주목받고 있다. 이 방식은 정확도를 높이지만 더 많은 토큰을 소비해 비용이 상승하고 응답 대기 시간이 길어진다는 단점이 있다. AMD가 타알라스 기술로 출력 속도를 10~20배 높이고 비용을 낮춘다면, 개발자들은 추론 시간을 더 늘려 모델의 논리적 정확도를 극대화하는 방향으로 설계를 변경할 가능성이 크다.

인수 대상인 타알라스의 기술은 모델 개발사와 인프라 제공자, 추론 서비스 기업이라는 좁은 타겟 시장을 겨냥한다. 타알라스 측은 모델 가중치를 실리콘에 각인하는 비용이 프런티어 모델을 처음부터 학습시키는 비용보다 100배 저렴하다고 주장한다. 이미 인스팅트 가속기의 주요 고객인 오픈AI(OpenAI), 앤스로픽(Anthropic), 메타 등이 잠재적인 채택 대상이며, 이들이 검증한 모델을 최종적으로 타알라스 가속기로 전환 배치하는 '틱-톡(Tick-Tock)' 방식의 도입 흐름이 예상된다.

reader-impact

가장 큰 제약은 칩에 각인된 모델을 바꿀 수 없다는 점이다. LoRA(Low-Rank Adaptation) 어댑터 수준의 변경은 가능하지만, 그 이상의 모델 구조 변경이 필요하면 칩을 다시 설계(Re-spin)해야 한다. 다만 타알라스는 전체 설계를 새로 하는 것이 아니라 금속 층(Metal layer) 두 개만 변경하면 되므로 비용과 시간을 줄일 수 있다고 설명한다.

한국의 AI 실무자와 기업은 이번 사례를 통해 '범용 가속기'와 '전용 가속기'의 선택 기준이 비용과 속도라는 극단적 효율성으로 이동하고 있음을 관찰해야 한다. 매달 새로운 모델이 나오는 환경에서 실리콘 각인 방식은 리스크가 크지만, 특정 모델을 확정해 대규모 트래픽을 처리해야 하는 서비스 제공자에게는 파격적인 비용 절감 수단이 된다.

관찰해야 할 다음 신호는 올여름 출시될 HC2 칩의 실제 파라미터 수용량과 AMD의 헬리오스(Helios) 랙 시스템과의 통합 수준이다. 특히 200억 개 이상의 파라미터를 가진 모델이 실리콘 각인 방식으로 구현되어 실제 서비스에 투입되는 시점이, 범용 GPU 중심의 추론 시장이 전용 칩 기반의 분리형 아키텍처로 전환되는 변곡점이 될 것이다.