어느 회사에 최신 로봇 경비원이 들어왔다. 이 로봇은 아주 똑똑해서 순식간에 건물 전체를 훑어본다. 로봇은 주인에게 아무런 문제가 없다고 보고한다. 하지만 사실 도둑은 구석진 창고 뒤에 숨어 있었다. 로봇은 모든 곳을 꼼꼼히 확인한 것이 아니라, 예전 경험을 바탕으로 보통 여기엔 도둑이 없겠지라고 짐작한 것이다.

AI 보안 도구 100% 도입하는 기업들

요즘 많은 기업이 사이버 보안(인터넷 세상에서 나쁜 공격을 막는 일)에 AI를 쓴다. LLM(거대 언어 모델, 엄청나게 많은 글을 읽고 배운 AI)을 활용해 프로그램 코드의 오류를 찾는다. 정적 분석(프로그램을 실행하지 않고 코드만 읽어서 틀린 곳을 찾는 방법) 기술에 AI를 합치면 속도가 엄청나게 빨라진다.

예전에는 수십 명의 전문가가 며칠 동안 코드를 읽어야 했다. 이제는 AI가 단 몇 초 만에 취약점(해커가 들어올 수 있는 약한 틈)을 찾아낸다. 비용은 줄어들고 속도는 빨라졌다. 기업들은 AI가 모든 보안 문제를 해결해 줄 것이라고 믿기 시작했다.

특히 소프트웨어를 빨리 만들어 내야 하는 압박이 심한 기업일수록 AI에 의존한다. 사람이 일일이 확인하는 시간을 줄여야 시장에서 이길 수 있다고 생각하기 때문이다. 하지만 이런 속도 경쟁이 오히려 보안의 구멍을 만드는 포석이 되었다.

예측과 증명의 결정적 차이

AI는 정답을 찾아내는 기계가 아니다. AI는 다음에 올 가장 적절한 말을 찾는 확률(어떤 일이 일어날 가능성) 기계다. AI가 이 코드는 안전합니다라고 말하는 것은 진짜로 안전하다는 증거를 찾았기 때문이 아니다. 그저 비슷한 코드들이 보통 안전했기 때문에 그렇게 예측한 것이다.

이것은 Proof of Work(진짜로 어려운 계산을 끝내서 정답을 보여주는 방식)와 완전히 다르다. 진짜 보안은 모든 경로를 다 확인해서 빈틈이 없음을 증명해야 한다. 하지만 AI는 그 과정을 생략하고 결과만 그럴듯하게 보여준다.

여기서 환각(AI가 모르는 내용을 사실인 것처럼 지어내는 현상) 문제가 나타난다. AI는 틀린 답을 내놓으면서도 아주 자신만만하게 말한다. 보안 담당자가 AI의 말을 그대로 믿으면 해커에게 대문을 열어주는 꼴이 된다.

더 무서운 점은 해커들도 똑같은 AI를 쓴다는 것이다. 해커들은 AI를 이용해 AI 보안 도구가 놓치기 쉬운 아주 미세한 틈을 찾아낸다. AI가 안전하다고 믿게 만들면서 뒤로는 공격 경로를 설계한다.

결국 AI가 내놓은 답은 정답이 아니라 하나의 제안일 뿐이다.

보안 시장의 투자 흐름 변화

이제 시장의 지형이 바뀌고 있다. 단순히 AI를 도입하는 것만으로는 부족하다는 사실을 깨달았기 때문이다. 투자자들은 이제 AI가 한 일이 맞는지 다시 확인하는 검증(결과가 진짜 맞는지 다시 확인하는 일) 기술에 주목한다.

AI가 찾은 오류가 진짜인지 확인하는 도구들이 인기를 끌기 시작했다. AI가 놓친 부분을 다시 잡아내는 2차 방어선 구축이 기업들의 핵심 과제가 되었다. 이런 흐름은 보안 기업들의 M&A(기업 인수 합병, 회사를 사고파는 일) 방향도 바꾸고 있다.

단순히 AI 기능을 가진 회사가 아니라, AI의 거짓말을 잡아낼 수 있는 기술을 가진 회사의 가치가 올라간다. 이제는 AI를 얼마나 잘 쓰느냐보다 AI를 얼마나 잘 의심하느냐가 경쟁력이 되는 판도다.

AI는 아주 빠른 조수일 뿐 결정권자가 될 수 없다. 마지막 도장은 반드시 사람이 찍어야 안전하다.