인간의 템플릿 없이 RFIC를 설계하는 AI 시스템

RFIC(무선 주파수 집적 회로)는 5G, 자율주행차 레이더, 위성 통신 등 무선 기술의 기반이 되는 핵심 회로다. RFIC 설계자는 Maxwell 방정식에 따른 전자기장 상호작용, 열역학적 열 생성 및 제거, 온도 변화에 따른 패키징의 열팽창과 수축 문제를 동시에 해결해야 한다. 이러한 물리적 제약으로 인해 설계 공간이 매우 넓고 성능 지표 간 트레이드오프가 빈번하게 발생하며, 이 때문에 RFIC 설계는 오랜 경험이 필요한 수작업 중심의 '흑마술' 영역으로 취급되어 진입장벽이 높았다.

프린스턴 연구진은 인간의 설계 템플릿 없이 강화학습과 역설계를 결합해 RFIC를 처음부터 설계하는 AI 시스템을 구축했다. 이 시스템은 기존의 회로 라이브러리에 의존하지 않고 아키텍처, 회로 토폴로지(소자들의 연결 형태), 소자 파라미터, 전자기 인터페이스를 스스로 탐색한다. 연구진은 알파고 제로가 인간의 기보 없이 스스로 학습한 방식처럼, AI가 자체 탐색과 평가를 통해 설계 전략을 발전시키는 end-to-end 설계 방식을 적용했다. 강화학습 에이전트는 여러 조합을 시도하고 행동과 점수의 관계를 관찰하며 최적의 회로를 찾아내며, 학습 완료 후에는 매우 빠른 속도로 설계를 수행한다.

전통적인 RFIC 설계 흐름에서는 28GHz 전력 증폭기 하나를 설계하기 위해 아키텍처를 정하고 시뮬레이션을 반복하는 과정에 수년의 시간과 수천만에서 수억 달러의 비용이 투입되었다. 특히 5G 밀리미터파(28GHz, 39GHz)나 위성 통신(26.5~40GHz), 자동차 레이더(77GHz)와 같은 고주파 대역에서는 신호 반사를 줄이는 임피던스 매칭 구조 설계가 핵심 병목이었다. 프린스턴의 AI 시스템은 이러한 수작업 탐색 과정을 알고리즘 기반의 자동 탐색으로 전환해 설계 진입장벽을 낮췄다.

CNN과 확산 모델을 통한 설계 시간의 획기적 단축

연구진은 RF 회로 시뮬레이터를 CNN(합성곱 신경망) 기반의 AI 에뮬레이터로 대체해 설계 반복 시간을 줄였다. AI 에뮬레이터는 임의의 2차원 전자기 구조를 입력받아 산란 파라미터(신호가 구성 요소 내에서 진행하거나 반사되는 정도를 측정한 수치)를 밀리초 단위로 예측한다. 기존 전자기 솔버가 동일한 계산에 분에서 시간 단위의 시간을 소요했던 것과 비교해 계산 시간을 획기적으로 단축하며 설계 병목을 해결했다. 에뮬레이터는 산란 파라미터가 라벨링된 다수의 무작위 픽셀 구조를 학습해 공간 정보를 기반으로 성능을 예측한다.

또한 연구진은 이미지 생성 AI의 확산 모델(Diffusion Model)을 RFIC 구조 생성에 도입했다. 설계자가 산란 파라미터를 입력값으로 넣으면 AI가 이에 대응하는 물리적 전자기 구조를 출력하며, 프롬프트 입력부터 최종 구조 출력까지의 전체 과정은 약 6분이 소요된다. 특히 '공간 주파수 다이얼' 기능을 추가해 설계자가 결과물의 형태를 직접 제어할 수 있게 했다. 낮은 공간 주파수에서는 고전적이고 해석 가능한 형태가 생성되고, 중간 단계에서는 미로 같은 구조가, 높은 공간 주파수에서는 픽셀화된 임의의 형태가 생성된다.

이러한 역설계 방식은 구조공학에서 목표 공간을 만들기 위해 아치나 버팀 구조를 찾는 방식과 유사하다. AI는 회로 동작과 인터커넥트 및 수동 소자의 전자기 응답을 동시에 맞추는 작업을 수행한다. 연구진은 강화학습 기반 역설계와 AI 에뮬레이터를 결합한 'end-to-end AI designer'를 구성해 저잡음 증폭기, 서브테라헤르츠(subterahertz), 광대역 전력 증폭기 설계에 적용하며 fabrication-ready layout(제작 가능한 레이아웃) 생성 흐름을 구현했다.

데이터 폐쇄성과 환각 현상이 만드는 설계의 한계

AI 시스템은 2023년 30~100GHz 밀리미터파 전력 증폭기 설계에서 당시 실리콘 기반 제품 중 대역폭, 출력, 효율의 조합이 가장 우수한 기록적 효율(record efficiency)을 달성했다. AI가 생성한 전자기 경로는 사람이 설계하는 정규적·대칭적 구조와 달리 QR 코드와 같은 임의 패턴을 띠었으며, 이는 기존의 인간 설계 템플릿이 현대의 설계 목표에 최적이 아님을 입증했다. 2024년에는 입출력 포트가 많은 multiport IC 구조를 분 단위로 생성하며, 기존에 며칠 또는 몇 주가 소요되던 시뮬레이션 시간을 단축했다.

다만 AI가 물리적으로 작동하지 않는 회로를 생성하는 환각(hallucination) 현상이 발생해 최종 검증 단계에서는 인간 감독자의 개입이 필수적이다. 범용 파운데이션 모델 구축을 위해서는 ImageNet 수준의 대규모 데이터가 필요하지만, 대부분의 RFIC 및 아날로그 설계 데이터는 기업 간 비밀유지계약(NDA)으로 묶여 공유되지 않는 한계가 있다. 실제로 Natcast의 차세대 무선·센싱 기술 공유 인프라 프로그램이 종료되면서, AI 연구자와 칩 설계자 간의 협력을 위한 개방형 생태계 구축의 필요성이 커졌다.

결과적으로 RFIC 설계의 핵심 병목이었던 시뮬레이션 반복 시간이 분 단위로 압축됨에 따라, 칩 개발 주기와 비용의 획기적 단축 가능성이 확인되었다. 칩 설계 방식은 엔지니어가 정답을 찾기 위해 고단한 수작업을 반복하는 과정에서, AI가 제안한 최적안을 빠르게 검증하는 방식으로 전환된다. 이제 관건은 이러한 시간 단축이 실제 산업 현장에서 개발 비용을 얼마나 낮출 수 있는지, 그리고 NDA에 묶인 데이터를 어떻게 확보해 모델의 일반화 성능을 높일 수 있는지에 있다.