학부 연구생 H씨는 연구실에서 사용할 AI 기반 채용 분석 도구를 도입하며 약관의 모델 목록에 'Claude'가 적힌 것을 확인했다. 꼼꼼하게 보안 검토를 마쳤다고 생각했지만, 실제로는 승인하지 않은 다른 AI 모델들이 뒤에서 데이터를 처리하고 있을 가능성이 크다. 기업들이 벤더사와 맺는 DPA(데이터 처리 합의서, 개인정보 처리 방식을 규정한 계약서)를 그대로 믿기 어려운 상황이 됐다. 벤더사가 겉으로는 특정 모델만 쓴다고 하지만, 실제 API 연결이나 깃허브 코드를 뜯어보면 다른 모델을 섞어 쓰는 경우가 허다하기 때문이다.
이렇게 몰래 사용되는 '섀도우 AI'는 기업의 보안 검토 과정을 통째로 건너뛰게 만든다. 내가 승인한 모델은 A인데, 실제로는 B와 C가 내 고객의 주소와 금융 정보를 처리하고 있는 셈이다. 이는 프라이버시 프로그램이 의존하는 신뢰 사슬 전체를 무너뜨리는 일이다. 특히 미국에서는 개인정보 보호 위반 벌금이 최근 5년 치를 합친 것보다 더 많이 쏟아지고 있어 리스크가 극에 달했다. 단순히 계약서 한 장으로 끝낼 문제가 아니라, 실제 데이터가 흐르는 경로를 추적해야 하는 시점이 왔다. 이런 곤란을 겪는 개발자와 보안 담당자가 늘고 있다.
벤더사 63.6%가 숨긴 '제3자 AI'와 463만 달러의 리스크
기업 보안팀이 수개월 동안 컴플라이언스 검토를 하며 데이터 경로를 확정 짓는 동안, 소프트웨어 벤더사는 계약서에 적지 않은 외부 AI 모델을 몰래 연결해 기능을 구현한다. 믿고 쓴 도구가 내부적으로 어떤 AI를 쓰는지 모르는 상태에서 데이터만 흘러 들어가는 구조다.
데이터그레일(DataGrail, 개인정보 보호 플랫폼)은 2,400개 비즈니스 소프트웨어 제공업체를 분석해 AI 기능을 광고하는 벤더의 63.6%가 제3자 AI 하위 처리자(서비스 제공업체가 기능을 구현하기 위해 다시 이용하는 외부 AI 모델)를 법적 문서에 공개하지 않았다는 사실을 찾아냈다. 조사팀은 단순히 계약서만 읽지 않고 깃허브(GitHub) 환경과 API 연결 상태, 제품 설명서와 마케팅 문구를 모두 대조했다. 계약서에는 특정 모델 하나만 적어놓고 실제 제품 구현 단계에서는 여러 개의 외부 AI 모델을 섞어 쓰는 사례가 빈번했다. 기업이 신뢰하고 서명한 데이터 처리 합의서가 실제 데이터 흐름을 반영하지 못하는 상태다.
IBM의 2025년 데이터 유출 비용 보고서에 따르면 섀도우 AI(승인되지 않은 AI 사용) 비중이 높은 조직의 평균 유출 비용은 463만 달러에 달한다. 이는 섀도우 AI 비중이 낮은 조직보다 67만 달러 더 많은 수치다. 미국 주 정부가 부과한 개인정보 보호 관련 벌금 총액은 34.25억 달러로 최근 5년치 합산 금액을 넘어섰다. 숨겨진 AI 모델을 통해 데이터가 유출될 경우 기업이 감당해야 할 금전적 타격은 이미 임계점을 넘었다.
실제 현장에서는 데이터 처리 합의서(DPA, 개인정보 처리 방식과 책임 범위를 정한 계약서)에 앤스로픽의 클로드만 사용한다고 명시한 채, 뒷단에서는 오픈AI나 구글 제미나이를 함께 사용하는 경우가 발생한다. 기업은 클로드의 보안성만 검토하고 승인했지만, 실제로는 검증하지 않은 다른 모델들이 수천 건의 이력서와 주소, 주민등록번호 같은 민감 정보를 처리하게 된다. 벤더사가 편의를 위해 연결한 외부 모델이 기업의 데이터 통제권을 무력화하는 통로가 된다.
민감 정보 처리 32.8%와 CCPA의 강력한 리스크 평가 의무
컴플라이언스 담당자가 AI 시스템의 기능 명세서를 훑어보다가 고위험 활동 표시를 발견하는 순간 회의실의 분위기가 무거워졌다. AI 시스템의 32.8%가 민감 정보 처리나 자동 의사결정 같은 위험한 작업을 수행하고 있다는 사실이 드러났기 때문이다. 구체적으로 위험 요인을 스스로 보고한 시스템 중 47.1%는 개인 데이터를 처리하고 있었고, 20.7%는 사람이 개입하지 않고 시스템이 스스로 판단을 내리는 자동 의사결정 기능을 갖췄다. 여기에 건강이나 금융 정보 같은 민감 데이터 처리 비중이 16.5%, 지문이나 안면 인식 같은 생체 데이터 처리 비중이 7.5%에 달했다. 단순한 데이터 누락을 넘어 AI가 다루는 정보의 성격 자체가 법적 제재를 부르기 쉬운 고위험군에 속해 있다는 뜻이다.
법적 압박은 2026년 1월 1일부터 시행된 캘리포니아 소비자 프라이버시법(CCPA)의 리스크 평가 의무로 구체화됐다. 기업은 프라이버시에 심각한 위험을 줄 수 있는 처리 활동에 대해 위험 평가를 실시하고 이를 문서로 남겨야 한다. 이렇게 작성된 보고서는 2028년 4월까지 캘리포니아 프라이버시 보호국(CalPrivacy)에 제출해야 하며, 경영진은 위증 시 처벌을 받는다는 조건으로 서명하는 집행 확약까지 마쳐야 한다. AI를 활용해 민감 정보를 처리하거나 자동 의사결정을 내리는 행위는 정확히 이 의무를 발생시키는 핵심 활동이다. 이제 프라이버시 문제는 실무자의 단순한 설정 실수를 넘어 경영진의 법적 책임과 형사 처벌 가능성으로 직결되는 단계에 진입했다.
현장의 혼란은 프로젝트 중단이라는 극단적인 결과로 이어지고 있다. S&P 글로벌 조사에 따르면 2025년 AI 프로젝트를 포기한 기업의 42%가 개인정보 보호 우려를 가장 큰 원인으로 꼽았다. 규제는 강화되는데 실제 대응 속도는 여전히 더디다. 사용자가 브라우저 설정을 통해 내 데이터를 수집하지 말라고 보내는 거부 신호인 글로벌 프라이버시 컨트롤(GPC) 준수 여부를 확인하기 위해 5,000개 웹사이트를 감사한 결과, 63%가 여전히 이 신호를 무시하고 있었다. 규제 당국이 촘촘한 그물을 짜는 동안 기업들은 기술 도입의 속도에 매몰되어 정작 사용자가 명시적으로 거부한 권리조차 지키지 못하는 상황이다.
벤더사 10곳 중 6곳이 기업의 허락 없이 데이터를 AI 모델에 넘긴 결과는 데이터 주권의 현주소를 보여준다. 데이터를 AI 모델에 입력하는 것은 정보를 단순히 읽게 하는 것이 아니라 모델의 기억 속에 영구히 저장하는 과정과 같다. 한 번 학습된 정보는 완전히 지우기 어렵기에 기업의 기밀 유출 위험은 상시화된다. 결국 AI 시대의 신뢰는 기술의 성능이 아니라 데이터를 다루는 투명한 통제권에서 결정된다.
