한 개발자가 axon(브라우저에서 AI 모델들을 관리하고 협업시키는 오케스트레이터) 알파 버전을 이번 주에 공개했다. 이 도구는 API 연결 없이 로컬 환경의 모델만으로 소프트웨어 개발 공정을 자동화한다. 개발자가 명세를 입력하면 AI들이 역할을 나눠 코드를 작성하고 검수한다.

로컬 인프라와 다단계 협업 구조

하드웨어 구성은 i7 하스웰 프로세서, 16GB 램, GTX 1050ti 그래픽카드로 구성되었다. AirLLM(저사양 하드웨어에서도 거대 모델을 돌릴 수 있게 돕는 라이브러리)을 통해 Ollama(로컬 환경에서 대규모 언어 모델을 쉽게 구동하게 해주는 도구)를 실행했다. 그 위에서 Qwen(알리바바가 개발한 대규모 언어 모델)과 Llama3(메타가 공개한 오픈 소스 대규모 언어 모델)를 올렸다. 개발 도구로는 구글 안티그래비티(구글의 개발 도구)를 사용했다.

작업 프로세스는 세 단계의 계층 구조로 작동한다. 먼저 아키텍트 모델이 ToT(문제 해결을 위해 여러 경로의 생각을 나무 형태로 확장하는 추론 방식)를 통해 전체 작업을 분리한다. 이어 주니어 모델이 CoT(단계별로 사고 과정을 나열해 정답에 도달하는 추론 방식)를 활용해 개별 작업에 대한 코드를 제안한다. 마지막으로 시니어 모델이 이 코드를 리뷰하고 승인 또는 반려 여부를 결정한다. 모든 과정은 로컬호스트 게시판 형태의 스레드로 기록되며, 최종 승인 전까지는 Sandbox(외부에 영향을 주지 않고 안전하게 코드를 실행해 보는 격리 환경)에서 처리된다.

단발성 생성에서 조직적 오케스트레이션으로

예전의 AI 코딩은 사용자가 프롬프트를 입력하면 모델이 즉시 결과물을 내놓는 단발성 구조였다. 이제는 조직의 직급 체계를 모사한 오케스트레이션 지형으로 바뀌었다. 단순한 코드 생성이 아니라 기획, 구현, 검수라는 소프트웨어 공학의 파이프라인를 AI 내부에서 완결 짓는다. 이는 AI의 고질적인 문제인 환각 현상을 내부 검수 과정을 통해 필터링하는 포석이다.

개발자가 체감하는 가장 큰 변화는 인프라의 독립성이다. 외부 API에 의존하지 않고 로컬 자원만으로 개발 사이클을 돌린다. 이는 기업의 핵심 자산인 소스 코드가 외부 서버로 유출될 가능성을 원천 차단한다. 특히 저사양 하드웨어에서도 구동 가능하다는 점은 고가의 GPU 서버 없이도 AI 에이전트 팀을 운영할 수 있는 가능성을 보여준다.

현재 Rust(시스템 프로그래밍 언어)와 Python(범용 프로그래밍 언어)에 대한 검증을 마쳤다. C와 C++ 테스트 단계에서는 IR(중간 표현식)과 검증기의 한계가 발견되어 언어별 검증기를 분리하는 작업이 진행 중이다. 향후에는 AI들이 유휴 시간에 소통하는 게시판 기능과 인사 게시판을 통한 페르소나 주입, 그리고 Brownfield(기존에 이미 구축된 시스템을 수정하거나 확장하는 개발 방식) 작업을 통한 버전 업데이트 기능이 추가될 예정이다.

로컬 LLM의 최적화와 다중 에이전트 협업 구조의 결합은 AI 개발 도구의 중심을 클라우드에서 개인의 로컬 워크스테이션으로 옮겨놓을 것이다.