인공지능(AI) 산업의 지형이 하드웨어와 소프트웨어 양면에서 급격히 재편되고 있다. 단순한 성능 경쟁을 넘어 효율성과 접근성, 그리고 실제 업무 흐름(workflow)의 통합이 핵심 화두로 떠올랐다.

하드웨어 분야에서는 Jalapeno 칩이 설계의 돌파구를 열었다. 업계 표준 하드웨어보다 전력 대비 성능(performance per watt)이 월등하며, 토큰 처리 속도 역시 비약적으로 높였다. 전성비의 시대가 왔다.

소프트웨어에서는 AI 작업 흐름을 최적화하는 도구인 Buzz가 등장했다. 사용자는 대화 기록을 그대로 유지한 채 여러 모델을 자유롭게 교체하거나 자율형 에이전트(agent)를 효율적으로 관리할 수 있다. 도구의 파편화를 막고 생산성을 높이는 장치다.

AI 진입 장벽은 낮아지는 추세다. 주요 기업들이 학생 대상 무료 구독 프로그램을 도입해 학계의 채택을 유도하고 있으며, 연구용 노트북 도구 역시 고도화되고 있다. 미래의 개발자 층을 미리 확보하려는 전략이다.

이를 뒷받침하는 인프라 전략도 공격적이다. 기술 기업들은 우주 기반 컴퓨팅 제공업체와 손을 잡는 한편, 모델과 하드웨어 간의 상호작용을 최적화하는 전용 프로그래밍 언어 개발에 나섰다. 연산 자원의 한계를 공간과 언어의 혁신으로 돌파하려는 시도다.

공개 가중치 모델(open-weights models)의 확산으로 인프라 수요가 폭증하고 있다. 이제 업계의 관심은 단순한 연산 능력의 극대화가 아니라, 개발자와 학생이 체감하는 실질적인 활용성과 효율의 균형으로 옮겨갔다. 결국 쓸모 있는 AI가 승리한다.

01구글 제미나이 1년 무료 제공: 대학생의 학습 도구 표준 선점

구글이 프리미엄 AI 도구의 비용 장벽을 없앴다. 이제 학생들은 학습 작업 흐름(workflow)에서 강력한 우위를 점하게 됐다. 제미나이 1년 무료 구독을 통해 최첨단 AI 기능을 학생들의 일상 습관 속에 깊숙이 침투시킨다. 고가의 전문가용 도구가 이제는 선택적 사치품이 아닌 필수적인 학업 자원으로 변모한다. 단순한 무료 버전 AI에 의존하던 시대는 끝났다. 이제 학생들은 고강도 지적 작업에 최적화된 통합 생태계를 활용한다.

이번 구독 패키지는 클라우드 저장 공간과 생성형 AI 성능을 결합한 종합 구성이다. 구글 드라이브 400GB를 제공해 방대한 연구 데이터를 제약 없이 저장하고 관리할 수 있게 했다. 기술적으로는 제미나이 3.7 flash 모델과 강화된 심층 연구 기능을 지원한다. 복잡한 정보 수집과 종합 분석이 훨씬 수월해진다. Notebook LM의 사용 한도를 높여 방대한 강의 자료와 학업 노트를 관리하는 실질적인 도구로 만들었다.

텍스트와 연구를 넘어 고성능 멀티미디어 제작의 길도 열었다. Flow Studio를 통해 비디오 생성 전용 모델인 제미나이 Omni를 사용할 수 있다. 이제 정적인 보고서에서 벗어나 프로젝트와 발표를 위한 역동적인 시각 콘텐츠를 직접 제작한다. 제미나이 3.7 flash의 속도와 제미나이 Omni의 창의성을 하나로 묶어, 구글 생태계를 학생 생산성의 핵심 엔진으로 배치했다. 이는 미래의 전문가들이 구글 AI 환경에 익숙해지도록 만드는 전략적 포석이다. 결국 구글의 디지털 작업 흐름에 대한 장기적인 의존도를 높이려는 계산이다.

02구글 제미나이 노트북 — 개인 데이터가 보고서와 영상으로 변한다

구글이 소규모 실험이었던 '프로젝트 힐우드(Project Hillwood)'를 종합 연구 보조 도구인 제미나이 노트북(제미나이 Notebook)으로 진화시켰다. 3년 전 사용자가 보유한 데이터를 더 효율적으로 학습하도록 돕기 위해 출시된 NotebookLM이 그 전신이다. 이제 단순한 AI 메모장을 넘어 오디오와 비디오 요약, 마인드맵, 플래시카드, 퀴즈, 슬라이드, 상세 보고서까지 생성하는 다목적 허브가 됐다. 방대한 개인 데이터를 직관적으로 흡수하는 도구 상자가 완성된 셈이다.

콘텐츠 생성을 넘어, 이제 제미나이 노트북은 업로드한 자료를 바탕으로 코드를 직접 작성하고 실행하는 보안 클라우드 컴퓨터 기능을 제공한다. 이를 통해 AI가 점수를 표준화하거나 이상치를 찾아내고, 여러 데이터셋의 추세를 분석하는 고도화된 데이터 분석이 가능해졌다. 사용자가 엑셀로 데이터를 옮기거나 직접 파이썬(Python) 스크립트를 짤 필요가 없다. 시스템이 매출 성과 차트나 제품 성장 표 같은 고품질 결과물을 자동으로 만들어내기 때문이다. 특히 이 강력한 분석 기능이 Ultra 사용자뿐 아니라 제미나이 프로(제미나이 Pro) 사용자 전체로 확대됐다. 전문적인 연구 도구의 문턱이 낮아졌다.

늘어난 기능을 효율적으로 관리하기 위해 구글은 '컬렉션(collections)'이라는 유연한 정리 시스템을 도입했다. 기존의 폴더 방식보다는 스포티파이의 재생 목록이나 사진 앨범에 가까운 구조다. 여기에 AI 출력물을 세밀하게 조정할 수 있는 스튜디오 기능이 더해졌다. 단순히 결과물을 즉시 생성하는 수준을 넘어, 선택한 자료를 바탕으로 출력 형식을 정교하게 다듬을 수 있다. 주요 연구 결과 표를 만들거나 미래 성장률을 계산하는 등 데이터 제시 방식을 사용자가 직접 설계하는 방식이다.

03오픈AI의 Jalapeno 칩, Nvidia와 구글의 독주를 끝낼까?

오픈AI가 'Jalapeno'라는 새로운 칩을 선보이며 하드웨어 시장에 진출했다. Nvidia와 구글이 장악한 시장에 정면 도전장을 내민 것이다. 단순히 내부 모델용 도구를 만든 것이 아니라, AI 구동과 서비스 제공의 핵심 지표에서 기존 표준을 압도하는 범용 하드웨어를 구축했다. 보통 기업의 첫 하드웨어 도전은 실험적 수준에 그치기 마련이지만, Jalapeno는 처음부터 업계 최고 수준의 성능으로 등장했다. 다양한 오픈소스 모델 테스트를 통해 범용성까지 입증하며 시장의 강력한 경쟁자로 부상했다. 판을 흔들 준비를 마친 셈이다.

가장 놀라운 점은 칩 설계 과정에 AI를 직접 활용했다는 사실이다. AI를 개발 주기 전반에 통합해 하드웨어 공학의 전통적인 시간표를 완전히 앞당겼다. 덕분에 초기 개념 설계부터 공장에 생산 도면을 보내는 최종 단계인 '테이프 아웃(tape out)'까지 단 9개월밖에 걸리지 않았다. 반도체 업계에서 이런 속도는 전례가 없다. 복잡한 물리적 하드웨어를 시장에 내놓는 시간을 AI가 획기적으로 단축할 수 있음을 증명했다.

더 나아가 오픈AI는 AI가 직접 프로그래밍할 수 있도록 Jalapeno 칩을 최적화했다. AI가 하드웨어 설계자이자 그 위에서 돌아가는 코드를 짜는 도구가 되는 강력한 시너지를 구축한 것이다. AI 배포와 서비스 제공에 가장 중요한 성능 지표에 집중한 결과, 구글의 TPU나 Nvidia의 최신 제품을 넘어섰다. 이제 업계에는 AI 프로그래밍을 위해 처음부터 설계된 범용 대안이 생겼다. 대규모 모델을 서비스하는 비용과 효율의 기준이 바뀐다.

04엔비디아의 독점 무기 CUDA, AI가 직접 짠 기계어로 무력화

Nvidia가 AI 하드웨어 시장에서 누려온 장기 집권 체제가 역설적인 위기에 직면했다. Nvidia가 제공한 기술로 성장한 오픈AI가 이제는 그 기술의 뿌리를 흔들고 있기 때문이다. 오픈AI는 고도화된 AI 모델을 활용해 새로운 칩을 설계하고, Nvidia가 지난 20년간 공들여 쌓아온 독점적 소프트웨어 생태계인 '쿠다(CUDA) 진입장벽'을 허물 수 있는 기초 코드를 작성하고 있다. 그동안 AMD 같은 경쟁사들이 이 벽을 넘지 못해 고전했지만, AI가 직접 설계하는 방식이 등장하며 새로운 돌파구가 열렸다. 소프트웨어가 더 이상 Nvidia의 특정 도구에 의존하지 않게 되면서, 하드웨어 시장의 판도가 완전히 바뀔 가능성이 커졌다. 철옹성 같던 진입장벽이 무너지고 있다.

이런 변화가 가능한 이유는 GPT 5.6 ICS Sol 같은 모델들이 컴퓨터 통신의 가장 밑바닥 단계에서 작동하기 때문이다. 기존의 소프트웨어 개발 과정에서 프로그래머들은 인간이 이해하기 쉬운 중간 단계 언어(추상화 계층)를 사용해 복잡한 작업을 처리했다. 하지만 이 AI 모델들은 기계어에 가장 가까운 최하위 언어인 어셈블리(assembly)로 코드를 짠다. 하드웨어를 직접 제어하는 이른바 '기계 수준(at the metal)'의 코딩이다. AI가 기계와 직접 대화하기 시작한 셈이다. 이렇게 작성된 핵심 코드(커널)를 통해 AI는 특정 하드웨어 제조사가 제공하는 보조 도구 없이도 성능을 극대화할 수 있다.

결국 이는 AI가 자신이 구동되는 하드웨어와 코드를 스스로 최적화해 다음 세대의 모델을 만드는 '재귀적 자가 개선 루프(recursive self-improvement flywheel)'로 이어진다. 인간 엔지니어가 다음 세대 프로세서를 설계할 때까지 기다리는 것이 아니라, GPT 5.6 ICS Sol 같은 모델이 실시간으로 미래의 칩과 그 기반 코드를 직접 설계하는 구조다. AI가 스스로의 진화를 설계하는 셈이다. 칩 설계부터 이를 구동하는 저수준 소프트웨어까지 자동화함으로써, 오픈AI는 Nvidia의 시장 지위를 지켜주던 과거의 소프트웨어 장벽을 빠르게 지워나가고 있다.

05오픈AI Jalapeno — Nvidia Blackwell보다 적은 전기로 더 빠르게

오픈AI가 하드웨어 시장에 본격적으로 뛰어들었다. 첫 번째 AI 칩 'Jalapeno'를 공개하며 대규모 모델 운영의 지속 가능성을 확보하겠다는 전략이다. 핵심은 전력 대비 성능(performance per watt), 즉 전기를 얼마나 적게 쓰면서 높은 연산 능력을 내느냐에 있다. 그동안 AI 업계는 막대한 전력 비용과 냉각 문제 때문에 동시 접속자 수를 제한해야 했다. Jalapeno는 이를 해결해 더 경제적이고 확장 가능한 AI 서비스 시대를 연다. 효율이 곧 경쟁력인 시대다.

시장 분석 기관 Semi Analysis의 독립 테스트 결과, Jalapeno는 Nvidia의 Blackwell과 구글의 TPU보다 뛰어난 성능을 보였다. 보통 1세대 칩은 기존 제품보다 경쟁력이 떨어지기 마련이지만, Jalapeno는 이 상식을 깼다. 특히 별도의 최적화 설정(tuning) 없이도 거의 모든 시나리오에서 Blackwell을 앞섰다. 오픈AI의 자체 모델뿐 아니라 다양한 오픈소스 모델에서도 성능이 검증됐다. 특정 모델에 종속되지 않은 범용 하드웨어로서의 가치를 입증한 셈이다.

전력 효율의 상승은 곧바로 사용자 경험의 개선으로 이어진다. 소수 사용자만 접속한 상황(low-concurrency)에서 DeepSeek R1 모델을 구동했을 때, Jalapeno는 초당 700개 이상의 토큰을 생성했다. 사용자가 체감하는 응답 속도가 사실상 즉각적인 수준이다. 고속 연산에 필요한 전력 소모를 획기적으로 줄임으로써, 오픈AI는 더 많은 요청을 더 빠르게 처리할 수 있는 기반을 마련했다. 고성능 AI가 반드시 막대한 전기료를 동반해야 한다는 공식이 깨졌다.

06Buzz: 모델을 바꿔도 대화는 유지, AI 성능 비교의 기준이 바뀐다

이제 사용자는 대화 기록을 잃지 않고도 비서를 구동하는 AI 모델을 자유롭게 바꿀 수 있다. Buzz는 하나의 대화창 안에서 Codex, 클로드 코드, Grok, LMS 에이전트 같은 서로 다른 백엔드를 매끄럽게 전환하는 기능을 제공한다. 이를 위해 Rust로 작성된 중계 서버에 웹소켓(WSS)으로 상시 연결하며, 저장과 실시간 기능을 위해 PostgreSQL, Redis, MiniIO 기술 스택을 활용한다. 모델이 바뀌어도 대화가 초기화되지 않는 이유는 데이터가 서버에 안전하게 보관되기 때문이다. 대화의 맥락은 끊기지 않는다.

이런 데이터 지속성은 AI 성능을 평가하는 방식을 완전히 바꾼다. 작업 흐름(workflow)은 그대로 둔 채 특정 에이전트에 할당된 모델만 교체하면, 어떤 AI가 특정 업무를 더 효과적으로 처리하는지 직접 비교할 수 있다. 매번 새로운 모델로 처음부터 다시 시작할 필요 없이, 동일한 대화 맥락 속에서 응답을 나란히 비교하며 해당 업무에 가장 효율적인 도구를 쉽게 찾아낼 수 있다. 이제는 모델의 이름이 아니라 결과로 승부하는 시대다.

창작 영역에서도 비슷한 통합 관리 방식이 나타나고 있다. invideo Agent 2는 '감독 지침서(director's bible)'와 '플레이북(playbook)'을 통해 프로젝트 전체의 일관성을 유지한다. 이 마스터 문서들에 프로젝트의 비전, 톤, 시각적 규칙을 저장해두면 사용자가 매번 프롬프트에 긴 지시사항을 반복할 필요가 없다. 특히 다양한 카메라 각도에서도 캐릭터의 외형을 동일하게 유지하기 위해 다각도 캐릭터 시트를 활용한다. 이는 초안을 먼저 생성한 뒤 세부 사항을 수정하며 완성도를 높이는 반복 개선 방식으로 작업 흐름을 전환시킨다.

일반 생산성 도구인 Whisper Flow는 스니펫(snippet, 단축어) 기능으로 복잡한 프롬프트 작성을 단순화했다. "실제 대본" 같은 짧은 음성 명령만 내리면, Gmail, Notion, 클로드, ChatGPT 등 다양한 앱에서 미리 설정된 상세 프롬프트로 자동 확장된다. 이러한 도구들은 이제 개별 지시어를 반복하는 수동 프롬프트 엔지니어링에서 벗어나, 시스템과 일관성을 관리하는 고차원적인 AI 통합 관리(orchestration) 시대로 나아가고 있음을 보여준다. 프롬프트를 짜는 시대에서 시스템을 설계하는 시대로 넘어갔다.

07소프트웨어의 주도권이 사용자에게로 — 수백 개의 플러그인이 만든 맞춤형 AI

AI 도구를 즉각적으로 맞춤 설정하는 기능이 소프트웨어와의 상호작용 방식을 근본적으로 바꾸고 있다. 특정 기업이 설계한 고정된 기능 세트에 의존하던 시대는 지났다. 이제 사용자는 자신의 필요에 맞춰 운영 환경을 직접 재구성하고 최적화한다. 소프트웨어는 더 이상 고정된 제품이 아니다. 사용자의 실제 업무 요구에 따라 진화하는 유연한 토대다.

이러한 유연성은 시스템 출시 직후 곧바로 증명됐다. 서비스가 공개된 지 불과 며칠 만에 학계 커뮤니티가 수백 개의 확장 프로그램(plugin)을 개발해 공유했다. 이 프로그램들은 핵심 기능에 덧붙이는 모듈형 부품처럼 작동하며, 초기 개발자가 예상하지 못한 전문 영역의 작업까지 수행하게 만든다. 전 세계 전문가들이 도구의 활용도를 실시간으로 확장하는, 소프트웨어 배포의 패러다임이 바뀌었다.

단순한 확장성을 넘어, 시스템을 구동하고 관리하는 방식에서도 압도적인 이점이 있다. 사용자는 모든 설정을 자신의 하드웨어에서 직접 구동하거나 Lambda를 통해 처리할 수 있다. 기업의 중앙 서버를 거치지 않으므로 외부의 데이터 추적 위험이 사라진다. 특히 한 번의 대화에서 처리할 수 있는 데이터 양을 인위적으로 제한하는 토큰 제한(token limits)의 굴레에서도 벗어났다. 주류 AI 서비스에서는 보기 드문 수준의 프라이버시와 운영 자유도를 확보한 셈이다.

커뮤니티 주도의 확장성과 로컬 제어권의 결합은 결국 개인화된 컴퓨팅의 새 시대를 연다. 수백 명의 외부 기여자가 기능을 개선하고 사용자가 자신의 기기에서 이를 비공개로 실행하는 순간, 주도권은 공급자에서 사용자로 완전히 넘어온다. 매일 능력이 진화하는 고도의 적응형 생태계가 구축된 것이다. 이제 이 도구는 어떤 학문적, 전문적 영역에 적용되더라도 그 가치와 성능을 유지할 수 있다.

08앤스로픽-SpaceX 동맹 — 연산 병목 해결하고 오픈AI 잡는다

AI 연구소의 최대 난제는 연산 능력이다. 하드웨어 성능이 기술 발전 속도를 결정한다. 앤스로픽은 이 문제를 해결하기 위해 SpaceX의 슈퍼컴퓨터를 활용하는 전략적 제휴를 맺었다. 하드웨어 한계로 인한 모델 학습 지연을 막으려는 정면 돌파다. 연산 능력이 곧 권력인 시대다.

하지만 SpaceX와의 협력이 실제 성과로 이어졌는지는 아직 알 수 없다. 이제 막 시작 단계라 슈퍼컴퓨터 도입으로 인한 성능 향상이나 효율 개선이 제품에 반영되지는 않았다. 타이밍이 좋지 않다. 현재 앤스로픽은 오픈AI의 그늘에 가려져 있다. 두 회사 모두 범용 인공지능(AGI)을 향해 가고 있지만, 앤스로픽은 아직 오픈AI의 최첨단 내부 프로젝트에 필적하는 규모의 모델을 내놓지 못했다.

현재 앤스로픽은 fable 5.1이라는 새 모델을 개발 중이다. 하지만 출시 일정은 안전성이라는 업계의 거대한 흐름에 부딪혔다. 앤스로픽과 오픈AI 모두 최신 모델의 능력이 이전보다 비약적으로 상승했다는 내용을 공개했다. 능력이 너무 좋아지자 보안 우려가 뒤따랐다. 두 연구소 모두 안전한 배포를 위해 출시를 늦추는 선택을 했다. 결국 SpaceX가 제공하는 강력한 연산 자원은 앤스로픽이 보안 문제를 해결하고 fable 5.1을 시장에 내놓는 데 핵심적인 동력이 될 것이다.

09무료 AI가 퍼질수록 하드웨어 시장은 더 커질까?

가중치 공개 모델(open-weights)의 확산이 하드웨어 수요를 폭발시키고 있다. 모델의 핵심 설정값인 파라미터를 누구나 내려받아 실행할 수 있는 구조다. 무료 모델의 등장이 시장을 위축시킬 것이라는 예상과 달리, 결과는 정반대로 나타났다. 특정 기업의 폐쇄형 클라우드에 종속되지 않고 다양한 서버와 로컬 환경에서 구동되면서 AI의 활용 범위가 비약적으로 넓어졌기 때문이다. 처리하는 텍스트의 기본 단위인 토큰(token)의 전체 발생량이 늘어났고, 이는 곧 고성능 칩 수요의 증가로 이어졌다. 결국 인프라의 확장이다.

벤처캐피털리스트 개빈 베이커는 이러한 흐름이 Nvidia 같은 하드웨어 공급사에게 최적의 시나리오라고 분석한다. 오픈소스 AI의 점유율 확대가 전체 연산 수요를 줄이는 것이 아니라, AI가 실행되는 접점 자체를 넓히기 때문이다. 오픈소스 모델이 토큰 하나를 생성할 때 필요한 연산 자원은 폐쇄형 모델과 다를 바 없다. 모델이 확산될수록 AI 전용 인프라에 대한 갈증은 더욱 심화된다. 하드웨어 거물들이 오픈소스 진영을 적극적으로 밀어주는 이유가 여기 있다. 더 많은 곳에서 돌릴수록, 더 많은 칩이 팔린다.

현재 시장에서는 '사용량'과 '매출'의 괴리가 뚜렷하게 나타난다. 최근 딥시크는 전체 토큰 점유율 25.2%를 기록하며 앤스로픽(24.5%)을 앞질렀다. 하지만 사용량의 우위가 곧 수익의 우위로 연결되지는 않는다. 딥시크는 서비스 가격이 매우 저렴해 전체 모델 지출액에서 차지하는 비중은 2.8%에 그쳤다. 반면 앤스로픽은 지출액의 64.6%를 독식했다. 폐쇄형 모델이 고단가 전략을 취하는 동안, 가중치 공개 모델은 전체 AI 활동 규모를 키우는 역할을 한다. 결국 누가 구독료를 챙기든 상관없다. 토큰을 만들어내는 하드웨어 수요는 어떤 경우에도 꺾이지 않기 때문이다.

10Jalapeno, DeepSeek R1에서 초당 700토큰 돌파 — 체감 대기 시간 제로

AI의 텍스트 생성 속도는 대화의 자연스러움을 결정하는 핵심 요소다. 칩이 사람이 읽는 속도보다 빠르게 텍스트를 출력하면, 질문과 답변 사이의 간극은 사실상 사라진다. Jalapeno 칩은 DeepSeek R1 모델 구동 시 사용자당 초당 700토큰(tokens per second) 이상의 속도를 기록하며 이 지점에서 이정표를 세웠다. 복잡한 대형언어모델에서 흔히 보이는 끊김이나 느린 출력 현상이 사라지고, 즉각적인 상호작용이 가능해졌다. 대기 시간이 사라진 것이다.

이번 성능은 단 한 명의 사용자가 시스템을 사용하는 저부하 상황(concurrency one)에서 측정됐다. 주목할 점은 DeepSeek R1 모델의 효율을 높이기 위한 별도의 최적화 코드를 전혀 사용하지 않았다는 점이다. 이는 소프트웨어 튜닝에 기대지 않고도 하드웨어 자체의 설계만으로 고속 처리가 가능하다는 것을 의미한다. 소프트웨어가 아닌 하드웨어의 힘이다. 단순한 속도를 넘어, 방대한 양의 데이터와 요청을 동시에 처리해도 속도가 떨어지지 않는 높은 처리량(throughput) 설계까지 갖췄다.

전력 효율성, 즉 와트당 성능(performance per watt)에서도 Jalapeno 칩은 압도적인 우위를 점했다. 특정 성능 지점에 맞춘 최적화 과정을 거치지 않은 상태에서도 거의 모든 테스트 시나리오에서 효율적이었다. 특히 Blackwell을 포함한 주요 하드웨어와 직접 비교했을 때, 더 빠른 속도와 낮은 전력 소모를 동시에 달성했다. 기업과 개발자 입장에서는 고성능 모델 운영 비용은 낮추면서 사용자 경험은 극대화할 수 있는 실질적인 대안이 생긴다. 하드웨어가 속도와 전력 관리라는 두 마리 토끼를 모두 잡았기 때문이다.

11엔비디아의 CUDA, 소프트웨어로 쌓은 거대한 진입 장벽

인공지능을 개발하는 대부분의 기업에게 경쟁사의 하드웨어로 갈아타는 일은 단순히 칩을 교체하는 수준의 문제가 아니다. 기존 소프트웨어를 처음부터 다시 작성해야 하는 막대한 비용과 노력이 뒤따르기 때문이다. 이러한 어려움은 엔비디아가 가진 압도적인 경쟁 우위인 ‘CUDA 해자(CUDA moat)’에서 비롯된다. CUDA는 개발자가 엔비디아의 하드웨어와 효율적으로 소통할 수 있게 돕는 소프트웨어 플랫폼이자 프로그래밍 언어다. 약 20년 동안 공들여 쌓아 올린 이 생태계는 현재 AI 개발 현장에서 가장 저항이 적은 표준 경로로 자리 잡았다. 기업이 엔비디아를 선택하는 것은 단순히 실리콘 칩을 구매하는 행위가 아니라, 이미 방대하게 구축된 라이브러리와 전문 엔지니어링 지식이라는 거대한 네트워크에 접속하는 것과 같다.

이 해자의 강력함은 축적된 도구와 지식의 양에서 나온다. 기업 입장에서 가장 중요한 것은 개발 속도와 인력 채용의 용이성이다. 이미 수많은 엔지니어가 CUDA에 숙달되어 있어, 기업은 새로운 독자 언어를 교육할 필요 없이 빠르게 팀 규모를 확장할 수 있다. 반면 다른 칩 아키텍처로 전환하려면 프로세서가 특정 수학적 작업을 처리하는 방식을 제어하는 저수준 코드인 ‘커널(kernels)’을 밑바닥부터 다시 짜야 한다. 이는 경쟁 하드웨어 제조사에게는 높은 진입 장벽이 된다. 코드를 이전하는 데 드는 비용이 더 빠르거나 저렴한 칩을 사용해서 얻는 이익보다 훨씬 크기 때문이다.

소프트웨어 의존도가 가져오는 현실적인 제약은 엔비디아가 아닌 시스템에서 복잡한 모델을 구동할 때 여실히 드러난다. 예를 들어, DeepSeek 모델은 오픈AI와 같은 연구소들이 사용하는 표준 설계와는 다른 독특한 아키텍처를 채택하고 있다. 이를 Jalapeno와 같은 대체 시스템에서 실행하면 성능이 떨어진다. 해당 시스템의 커널에는 모델을 최고 효율로 구동하는 데 필요한 최적화 코드가 부족하기 때문이다. Codex와 같은 도구가 이러한 간극을 메울 효율적인 커널을 빠르게 생성할 수는 있지만, 이러한 기초적인 고전은 왜 대부분의 개발자가 기존 엔비디아 생태계를 고수하는지를 잘 보여준다. 모든 수학적 연산을 일일이 수동으로 최적화하지 않고도 모델을 즉시 배포할 수 있다는 점, 바로 이것이 업계가 하나의 공급자에 묶여 있는 핵심 이유다.

12오픈AI Gluon: AI가 하드웨어를 직접 제어해 엔비디아의 독점을 깬다

오픈AI가 인간이 아닌 AI만을 위한 언어를 만들며 소프트웨어와 하드웨어의 관계를 근본적으로 바꾸고 있다. '글루온(Gluon)'이라 불리는 이 커널 프로그래밍 언어(프로세서의 동작을 직접 지시하는 기초 코드)를 통해 Codex 모델은 하드웨어와 직접 소통한다. 기존에는 코딩 편의를 위해 중간에 단순화된 인터페이스인 추상화 계층(abstraction layers)을 두었지만, 이는 기계의 처리 속도를 늦추는 원인이 됐다. 이제 Codex는 중간 단계 없이 기계가 즉각 실행할 수 있는 정밀한 명령어를 직접 작성한다. 중간 단계는 사라졌다.

글루온은 작고 날카로우며 수동적인 언어다. 대부분의 소프트웨어 개발은 가독성을 높이기 위해 컴퓨터 내부의 복잡한 작동 방식을 숨기는 층을 활용하지만, 글루온은 가장 밑바닥 단계에서 작동한다. 모든 명령을 가공 없이 작성해 기계를 완전히 통제하는 어셈블리 언어(assembly language)와 비슷하다. 자동화된 처리 과정이 없기에 기계는 지시받은 그대로만 움직인다. 덕분에 Codex는 하드웨어 성능을 극한으로 끌어내는 '로우 레벨(at the metal)' 최적화 프로그램인 커널을 직접 짤 수 있다. 효율의 극대화다.

이번 전략은 AI 하드웨어 시장의 판도를 흔들 수 있는 결정적인 수다. 지난 20년간 엔비디아는 CUDA 플랫폼이라는 강력한 소프트웨어 장벽(moat)을 통해 시장을 지배했다. CUDA는 엔비디아 칩을 업계 표준으로 만든 핵심 소프트웨어 계층이다. 오픈AI는 AI 모델이 직접 사용할 커널 언어를 구축함으로써 이 장벽을 우회하려 한다. AMD 같은 경쟁사들이 CUDA의 벽을 넘지 못해 고전한 것과 대조적이다. Codex가 기초 코드를 직접 짜는 방식이 정착되면, 특정 칩 제조사의 소프트웨어 생태계에 의존하지 않고 하드웨어 성능을 최대로 활용하는 시대가 열린다. 엔비디아의 성벽에 균열이 가기 시작했다.