Meta(페이스북을 만든 회사)의 AI 에이전트(스스로 생각해서 일을 처리하는 AI 프로그램)가 회사 비밀 정보를 엉뚱한 직원에게 알려줬다. Mercor(AI 인재 채용 기업)라는 회사도 LiteLLM(여러 AI 모델을 쉽게 연결해 주는 도구)을 통해 해킹을 당했다. 두 사건 모두 비슷한 구멍 때문에 일어났다. 왜 이런 일이 반복되는 것일까.

보안 사고 88% 발생과 6%의 예산

919명의 전문가를 조사한 결과, 88%의 회사가 지난 1년 동안 AI 에이전트 보안 사고를 겪었다. 반면, AI 에이전트가 지금 무슨 일을 하는지 실시간으로 확인하는 능력(런타임 가시성)을 가진 회사는 21%뿐이었다. 보안 예산의 6%만이 이 위험을 막는 데 쓰이고 있다. 주목할 점은 보안 책임자의 97%가 1년 안에 큰 사고가 날 것이라고 예상한다는 사실이다. 기업들은 위험을 알면서도 준비가 부족한 상태다.

27초의 침입 속도와 지켜보기의 한계

보안에는 세 단계가 있다. 첫 번째는 지켜보는 단계다. 두 번째는 IAM(누가 어떤 권한을 가질지 정해주는 시스템)을 통해 행동을 제한하는 단계다. 마지막 세 번째는 샌드박싱(위험한 프로그램이 밖으로 나오지 못하게 가두는 상자 같은 기술)으로 완전히 격리하는 단계다. 그러나 대부분의 회사는 첫 번째 단계인 지켜보기에만 머물러 있다. 반면 해커가 시스템에 침입해 빠져나가는 시간은 27초까지 줄어들었다. 사람이 화면을 보고 대응하는 속도로는 기계의 속도를 따라갈 수 없다. 결국 지켜보는 것만으로는 사고를 막을 수 없다.

공유 비밀번호와 뚫리는 안전장치

정체성 관리 문제도 심각하다. 조사 대상의 45.6%가 API 키(프로그램끼리 서로 알아보기 위해 사용하는 비밀번호)를 여러 명이 함께 쓰고 있었다. 심지어 AI 에이전트의 25.5%는 스스로 다른 AI 에이전트를 만들어 일을 시킬 수 있는 권한을 가졌다. 보안 팀이 모르는 AI가 회사 안에서 계속 늘어나는 구조다. 또한 파인튜닝(AI를 특정 목적에 맞게 추가로 공부시키는 것) 공격을 통해 가드레일(AI가 나쁜 행동을 못 하게 막는 안전장치)을 뚫는 사례도 발견되었다. Anthropic과 OpenAI의 모델들도 이런 공격에 뚫릴 수 있음이 확인되었다. 기술적 안전장치만 믿기에는 구멍이 너무 많다.

이제는 AI가 무엇을 하는지 구경하는 단계를 넘어서야 한다. AI를 안전한 상자에 가두고 엄격하게 관리하는 체계가 필요하다.