KEY POINT
- NVIDIA Jetson Orin Nano Super는 67 TOPS의 AI 성능을 핸드백에 들어갈 정도의 소형 폼팩터로 제공하여 온디바이스 AI 환경을 지원한다.
- 로컬 GPU 가속을 통해 클라우드 연결, API 키, 인터넷 없이 Mistral과 같은 오픈 웨이트 모델 및 VLM/VLA 모델을 구동한다.
- 엣지 AI 에이전트 개발자는 클라우드 비용과 지연 시간을 제거하기 위해 67 TOPS 성능 수치와 VLM/VLA 모델 구동 가능 여부를 하드웨어 선택 기준으로 확인해야 한다.
#NVIDIA #Jetson #온디바이스AI #엣지컴퓨팅 #로보틱스 #물리적AI
67 TOPS 성능의 소형 폼팩터 Jetson Orin Nano Super 공개
NVIDIA는 초당 67조 회 연산을 수행하는 67 TOPS(Trillion Operations Per Second)의 AI 성능을 핸드백에 들어갈 정도의 소형 폼팩터로 제공하는 Jetson Orin Nano Super를 공개했다. Conviction의 설립자 Sarah Guo는 Jacquemus Mini 핸드백에 Jetson Orin Nano Super를 넣어 휴대하며 데스크톱급 생성형 AI 스택을 현장에서 즉시 사용할 수 있음을 증명했다. 이 장치는 소형 크기임에도 불구하고 물리적 세계의 다양한 산업 분야에서 작동하는 에이전트 기반 AI 플랫폼의 하드웨어 기반을 제공한다.
NVIDIA Jetson 플랫폼은 Jetson Orin Nano Super를 시작으로 Jetson AGX Orin, 그리고 Jetson AGX Thor로 이어지는 라인업을 통해 개발자의 서로 다른 연산 요구치를 지원한다. 이 모듈과 개발자 키트는 로봇, 자율 주행 기기, 그리고 교실, 연구소, 메이커스페이스(Makerspace) 등 실제 물리적 환경에서 작동하는 기기에 탑재된다. 개발자는 고정된 워크스테이션을 벗어나 영감이 떠오르는 모든 장소에서 하드웨어를 운용하며 물리적 세계를 위해 설계된 AI 플랫폼을 구축한다.
Jetson Orin Nano Super는 첫 진입 개발자가 컴퓨터 비전을 학습하고 AI 에이전트를 구축하며 엣지 AI를 프로토타이핑할 수 있는 실무적인 경로를 제공한다. 개발자는 이 플랫폼을 통해 높은 수준의 안전성과 보안 표준을 유지하면서 프론티어 오픈 모델(Frontier Open Models)을 물리적 기기에 직접 이식한다. 이는 고성능 AI 모델을 클라우드 연결 없이 기기 내부에서 직접 구동함으로써 응답 속도를 높이고 데이터 유출 위험을 낮추는 설계를 가능하게 한다.
클라우드 의존성을 제거한 로컬 GPU 가속 환경
Jetson Orin Nano Super는 런타임 시점에 클라우드 연결, API 키, 인터넷 접속이 전혀 필요 없는 완전한 로컬 GPU 가속 환경을 지원한다. 모든 AI 추론 과정이 기기 내부의 GPU에서 처리되므로 네트워크 패킷 전송에 따른 지연 시간이 사라지며 실시간 반응이 가능하다. 이는 외부 서버의 상태나 네트워크 품질에 상관없이 일관된 성능을 유지해야 하는 엣지 환경에서 필수적인 구조다.
개발자 'Coding with Lewis'는 오픈 웨이트 모델인 Mistral을 Jetson Orin Nano Super에 탑재하여 AI 기반 로봇을 밑바닥부터 구축했다. 오픈 웨이트 모델은 학습된 파라미터(가중치)가 공개되어 있어 개발자가 외부 기업의 폐쇄적인 API 인터페이스에 의존하지 않고 모델을 하드웨어에 직접 내려받아 구동할 수 있게 한다. 이 방식은 API 호출에 따르는 비용을 완전히 제거하며 인터넷이 단절된 환경에서도 로봇이 동일한 지능을 유지하게 만든다.
NVIDIA는 개발자가 아이디어를 실제 구현체로 옮길 수 있도록 Jetson Device Skills와 Jetson BSP(Board Support Package) Skills를 제공한다. 이 도구들은 코딩 AI 에이전트를 활용해 엣지 AI 모델을 생성, 최적화 및 배포하는 과정을 단순화한다. 개발자는 하드웨어 제어에 필요한 로우레벨 설정 단계를 AI 에이전트의 보조를 받아 처리함으로써 모델의 추론 효율을 높이는 최적화 작업에 집중한다.
VLM과 VLA를 통한 물리적 AI(Physical AI) 구현
NVIDIA Jetson 플랫폼은 VLM(Vision Language Model, 시각 언어 모델)과 VLA(Vision-Language-Action, 시각-언어-행동 모델)를 통해 물리적 AI 애플리케이션을 구현한다. VLM은 카메라로 입력된 시각 정보와 텍스트 명령을 동시에 처리하여 주변 상황을 언어적으로 이해하고, VLA는 이 맥락을 로봇의 관절 각도나 이동 방향 같은 구체적인 물리적 행동 명령으로 변환한다. 이 두 단계의 고부하 연산이 로컬 GPU 가속을 통해 처리되기에 실시간 물리 환경 대응이 가능하다.
SidewalkPilot AI 모델은 Jetson Orin Nano Super를 탑재하여 장난감 전기차의 좌우 회전 내비게이션을 자율적으로 수행했다. 특히 우회전과 좌회전 같은 구체적인 방향 전환 동작을 실시간으로 제어하며 엣지 단에서의 저지연 응답 성능을 증명했다. 이는 시각 언어 모델이 단순한 이미지 분석을 넘어 실제 물리적 행동 제어로 연결되는 VLA의 실무적 적용 사례를 보여준다.
Reachy Mini Lite는 Jetson Orin Nano Super를 활용해 저지연 기반의 온디바이스 음성 및 시각 어시스턴트를 구현했다. 사용자의 음성 명령과 주변 시각 정보를 동시에 처리하여 로봇이 즉각적으로 반응하게 만드는 구조를 갖췄다. 외부 서버를 거치지 않고 기기 내부에서 판단과 실행이 동시에 일어나므로, 인간의 반응 속도에 맞춘 자연스러운 멀티모달 인터랙션이 가능해진다.
개발자 학습 경로 및 엣지 하드웨어 선택 기준
NVIDIA는 3개 모듈로 구성된 라이브 스트림 시리즈를 통해 물리적 AI 개발자를 위한 단계별 학습 경로를 제시한다. 개발자는 먼저 생성형 AI를 실행하는 기초 단계에서 시작하여, Claw 에이전트를 구축하고, 최종적으로 VLM/VLA 모델을 물리적 AI 애플리케이션에 적용하는 과정을 학습한다. 모든 실습은 NVIDIA Jetson 하드웨어 환경에서 직접 수행하여 모델의 실제 구동 성능을 검증하는 방식으로 진행된다.
이 커리큘럼은 AI 분야에 처음 진입하는 개발자가 컴퓨터 비전 학습, AI 에이전트 구축, 엣지 AI 프로토타이핑을 통합적으로 해결하도록 돕는다. 개발자는 복잡한 서버 인프라 설정 대신 하드웨어 보드 위에 모델을 올리고 물리적 환경의 변수를 즉각적으로 반영하는 실무 능력을 확보한다. 이는 연구실 내 시뮬레이션에 머물던 AI 에이전트를 실제 현장으로 배포하는 주기를 물리적으로 단축하는 결과로 이어진다.
과거에는 VLM이나 VLA 같은 대형 모델을 구동하기 위해 고성능 GPU 서버와 안정적인 네트워크 연결이 필수적이었다. 하지만 이제는 현장 기기에 모델을 직접 탑재해 실시간으로 물리적 동작을 제어할 수 있으며, 개발자는 현장에서 즉시 모델을 수정하고 다시 배포하는 반복 주기를 빠르게 가져갈 수 있다.
결과적으로 클라우드 API 비용과 네트워크 지연 시간 없이 로컬에서 VLM 및 VLA 모델 기반의 AI 에이전트를 안정적으로 구동하려는 개발자는 67 TOPS 성능을 지원하는 엣지 하드웨어를 선택하는 것을 실무적인 하드웨어 기준점으로 삼아야 한다.
