보편적 윤리 대신 사용자의 이익에 정렬된 로컬 AI의 필요성
사용자는 ChatGPT나 Claude와 같은 생성형 AI 서비스에 질문을 던졌을 때, AI가 윤리적 가이드라인을 이유로 답변을 거부하며 '도움이 될 수 없다'고 응답하는 경험을 빈번하게 겪는다. Comma AI(코마 AI, 자율주행 소프트웨어 기업)의 설립자인 조지 핫츠(George Hotz)는 이러한 중앙의 제약 대신 AI가 보편적 윤리가 아닌 개별 사용자의 이익에만 밀접하게 정렬(Alignment, AI의 목표를 인간의 의도와 일치시키는 과정)된 로컬 제어 AI 모델에 집중하는 것이 최선의 안전 접근 방식이라고 주장한다.
조지 핫츠는 AI가 어느 한 시점에 급격하게 초지능 능력을 획득하여 인간을 압도한다는 'fast-takeoff(급격한 이륙)' 시나리오가 논리적으로 타당하지 않다고 반박한다. 그는 AI 정렬의 핵심을 외부의 통제가 아닌, 개별 사용자가 자신의 구체적인 이익과 목적에 맞춰 모델을 직접 제어할 수 있는 로컬 환경의 구축에서 찾는다. 이는 AI의 안전성을 사회적 합의가 아닌 개인의 통제권 안에서 해결하려는 관점이다.
이와 대조적으로 AI 퓨처스 프로젝트(AI Futures Project)는 'AI 2040: Plan A'라는 정책 보고서를 통해 인류 전체의 이익을 위해 AI 개발 속도를 의도적으로 늦추는 방안을 제안했다. 해당 보고서는 전 세계의 AI 연구자들이 공동으로 합의하여 향후 14년 동안 AI 개발 속도를 늦춤으로써 발생할 수 있는 위험을 관리하는 미래를 구상하고 있다. 조지 핫츠는 이러한 집단적 속도 조절이나 보편적 규제 방식의 전제와 결론에 동의하지 않는 입장을 명확히 한다.
조지 핫츠는 사용자 정렬 AI의 극단적인 자유도를 설명하기 위해 이를 '총'에 비유한다. 총이 사용자의 살인 행위에 대해 도덕적 불평을 하지 않듯, 진정으로 정렬된 AI 역시 사용자가 요청한다면 Amazon Prime에서 마약 제조 장비를 주문하고 그 사용법을 상세히 안내하는 수준까지 제한 없이 지원해야 한다는 원칙이다. 그는 이러한 개인의 자유와 권한을 지키는 것이 중요하며, 이를 위해 자신의 원칙을 끝까지 방어하겠다는 강한 의지를 표명한다.
중앙 집중형 인프라의 한계와 제품 설계의 윤리적 판단 기준
현재의 AI 서비스 시장은 Claude나 ChatGPT와 같이 기업이 서버를 관리하고 사용자가 접속하는 중앙 집중형 서비스(Centralized services) 형태로 구축되어 있다. 기업들이 이러한 구조를 유지하는 이유는 최신 대규모 모델을 호스팅하는 데 드는 인프라 비용이 매우 높고, 대부분의 사용자가 개인용 AI를 완전히 독립적으로 운영할 만큼 하루 종일 모델을 사용하지 않는다는 경제적·기술적 제약 때문이다. 이러한 구조 속에서 사용자는 서비스 제공자가 설정한 윤리적 필터와 통제 시스템 하에서만 AI를 이용하게 된다.
조지 핫츠는 이러한 중앙 집중형 제약을 벗어나기 위해 OpenClaw와 같은 실험적인 DIY(Do It Yourself, 사용자가 직접 구축하는 방식) 접근 방식을 통해 AI 제어권을 개인에게 돌려주어야 한다고 주장한다. 그는 기술이 발전함에 따라 호스팅 비용과 인프라 문제가 점차 해결될 것이며, 결과적으로 사용자가 자신의 로컬 환경에서 AI를 완전히 제어하는 방식이 더 중요해질 것이라고 본다. 이는 AI의 정체성을 기업의 서비스가 아닌 개인의 도구로 정의하는 설계 관점의 전환을 의미한다.
결국 AI 제품 설계의 핵심 쟁점은 정렬의 기준을 '사회적 책임'에 둘 것인지, 아니면 '개인적 권한'에 둘 것인지에 따라 갈린다. 전자는 보편적 가치와 공공의 안전을 위해 AI의 답변 범위를 제한하는 방식이며, 후자는 사용자의 의도를 최우선으로 하여 로컬 제어권을 극대화하는 방식이다. 제어권의 위치를 기업의 중앙 서버에서 사용자의 로컬 환경으로 옮기는 것은 단순한 기술적 변화가 아니라 AI의 권한 설정에 대한 철학적 선택이다.
다만 대중 시장에 기술 제품을 배포하는 설계자는 개인의 필요를 사회적 책임 시스템과 상호 의존적인 선호도(Interdependent preferences)의 네트워크에 결합하여 균형을 맞추는 설계를 반드시 고려해야 한다. 사회, 시장, 기업과 같이 다수가 참여하는 구조에서는 개인의 욕구만을 추구하는 'AI 기반의 나폴레옹'들이 늘어날 경우, 공동의 노력으로 구축된 사회적 시스템과 잠재적 미래가 순식간에 사라질 수 있기 때문이다. 따라서 제품 설계자는 개인의 자유와 더불어 아직 피해를 입지 않은 잠재적 피해자들의 이익까지 진지하게 고려하는 책임 있는 네트워크 설계를 수행해야 한다.
