어느 날 갑자기 연동해 둔 AI API(응용 프로그램 인터페이스, 소프트웨어 간 데이터를 주고받는 통로)의 응답이 멈췄다. 대시보드는 404 에러를 띄우고, 혁신적이라고 믿었던 파트너사의 연락처는 모두 끊겼다. 우리 서비스의 핵심 기능을 맡겼던 AI 모델이 사실은 사람이 수동으로 입력하던 가짜였다는 사실을 깨닫는 순간, 개발팀은 패닉에 빠진다.

파산 AI 기업 경영진의 사기 혐의와 SEC의 규제

파산한 한 AI 기업의 전 CEO와 CFO가 사기 혐의로 기소되었다. 이들은 투자자들에게 기업의 AI 기술력을 허위로 보고하고 이를 통해 막대한 자금을 모집한 혐의를 받는다. 이러한 현상은 최근 미국 증권거래위원회(SEC, 기업 공시와 투자자 보호를 담당하는 미국의 정부 기관)가 경고한 AI 워싱(AI Washing, 실제보다 AI 기술력을 부풀려 홍보하는 행위)의 전형적인 사례로 관찰된다.

실제로 SEC는 2024년 3월, AI 기술력을 과장해 투자자를 속인 델피아(Delphia)와 글로벌 프레딕션스(Global Predictions)라는 두 투자 자문사에 총 4천만 달러 규모의 과징금을 부과한 바 있다. 이들은 자체적인 AI 모델을 보유하고 있다고 주장했으나, 실제로는 기본적인 알고리즘조차 제대로 갖추지 못한 상태였다. 이번 기소 사건 역시 기술적 실체 없이 마케팅 용어로만 포장된 AI 기업들이 시장의 신뢰를 잃고 무너지는 과정을 보여준다.

래퍼 서비스의 한계와 기술적 부채의 위험

단순히 AI를 사용한다는 선언이 더 이상 시장의 신뢰를 얻지 못하는 구조로 변했다. 과거에는 LLM(거대언어모델, 방대한 데이터를 학습해 인간처럼 텍스트를 생성하는 모델)의 API를 연결한 래퍼(Wrapper, 기존 모델의 기능을 단순하게 재포장한 서비스) 수준의 제품만으로도 높은 가치를 인정받았다. 하지만 이번 사태는 기술적 실체 없는 마케팅의 한계를 극명하게 드러낸다.

개발자 관점에서 이는 심각한 기술적 부채(Technical Debt, 빠른 구현을 위해 선택한 임시방편이 나중에 수정 비용을 증가시키는 현상)로 이어진다. 검증되지 않은 AI 인프라에 의존한 코드는 공급사의 파산이나 서비스 중단 시 시스템 전체의 마비를 초래하기 때문이다. 특히 특정 업체가 제공하는 독자적인 모델에 강하게 결합된 아키텍처는 공급망 리스크에 무방비로 노출된다.

따라서 이제는 POC(개념 증명, 기술의 실현 가능성을 확인하는 초기 단계) 과정에서 단순한 결과값 확인을 넘어 지연 시간(Latency, 요청 후 응답이 올 때까지 걸리는 시간)의 일관성과 토큰(Token, AI가 텍스트를 처리하는 최소 단위) 소모량의 적절성을 정밀하게 분석해야 한다. 또한 특정 모델에 종속되지 않도록 폴백(Fallback, 주 서비스 장애 시 작동하는 보조 시스템) 경로를 설계하는 것이 필수적이다. 환각 현상(Hallucination, AI가 사실이 아닌 내용을 마치 사실인 것처럼 생성하는 오류)을 제어하는 로직이 내부적으로 어떻게 구현되었는지 검증하는 과정이 없다면, 그 코드는 언제든 사라질 수 있는 모래성 위에 지어진 것과 같다.

이제 AI는 무엇을 할 수 있는가라는 약속이 아니라 어떻게 구현했는가라는 증명으로 가치를 입증해야 한다.