facts

양자 내성 암호(PQC) 후보인 HAWK의 키 강도를 절반으로 낮춘 것은 이번 연구의 핵심 성과다. 앤스로픽(Anthropic)의 클로드 Mythos Preview는 60시간의 작업 끝에 HAWK 알고리즘에서 기존에 알려지지 않은 특정한 대칭성(nontrivial automorphism)을 발견했다. 이를 통해 공격 속도를 높여, 동일한 보안 수준을 유지하려면 키 크기를 두 배로 늘려야 한다는 사실을 입증했다. HAWK는 미국 국립표준기술연구소(NIST)의 3라운드 후보군에 포함된 알고리즘으로, 2년간의 전문가 검토를 거쳤음에도 AI에 의해 취약점이 발견된 사례다.

AES-128의 7라운드 축소 버전에서는 공격 속도를 200~800배 높이는 '뫼비우스 브리지(Möbius Bridge)'라는 핑거프린팅 알고리즘을 개발했다. 이는 기존의 '밋-인-더-미들(meet-in-the-middle)' 공격 방식을 개선한 것으로, 공격자가 추측해야 할 값 하나를 제거함으로써 연산 효율을 극대화했다. 이 외에도 저전력 환경용 암호인 LEA(Lightweight Encryption Algorithm) 13라운드 키를 1시간 이내에 복구하고, Serpent-128 6라운드에 대한 전체 키 복구 공격을 성공시키는 등 광범위한 암호 분석 능력을 보였다.

공격 하나를 개발하는 데 들어간 비용은 API 호출 비용 기준 약 10만 달러(한화 약 1억 3천만 원)로 측정됐다. 연구 과정에서 클로드는 파이썬(Python)과 세이지(Sage) 같은 계산 도구 및 공개된 암호학 논문을 활용했으며, 다중 에이전트 워크플로우를 통해 가설 설정과 실험, 검증 파이프라인 구축을 자율적으로 수행했다.

market-flow

기존의 AI 취약점 탐지가 주로 프로그래머의 실수로 인한 '구현 오류(Implementation Error)'를 찾는 수준이었다면, 이번 결과는 알고리즘 자체의 '수학적 결함(Mathematical Flaw)'을 찾아낼 수 있음을 보여준다. 이는 AI의 역할이 단순한 코드 리뷰어에서 암호학적 스트레스 테스트를 수행하는 연구자로 확장되고 있음을 의미한다.

NIST(미국 국립표준기술연구소)의 표준화 과정은 새로운 암호 체계를 배포하기 전 전 세계 전문가들이 결함을 찾는 구조다. 이번 HAWK 사례처럼 AI가 표준화 단계의 후보 알고리즘을 빠르게 검증함으로써, 실제 배포 후 발생할 수 있는 치명적인 리스크를 사전에 차단하는 '사전 감사' 도구로서의 채택 가능성이 커졌다. 앤스로픽은 이러한 흐름을 가속하기 위해 ETH 취리히, 텔아비브 대학교, 하이파 대학교와 협력하여 LLM의 암호 분석 능력을 평가하는 벤치마크인 'CryptanalysisBench'를 공개했다.

현재로서는 HAWK가 아직 표준으로 채택되지 않았고 AES 공격 역시 축소 버전에 국한되어 있어 실제 운영 시스템에 즉각적인 영향은 없다. 하지만 AI 모델의 능력이 정체되지 않고 빠르게 진화하고 있다는 점에서, 그동안 충분한 검토를 받지 못한 '롱테일(Long-tail)' 암호 체계들에 대한 전수 조사가 필요한 시점이라는 시장의 요구가 커질 것으로 보인다.

reader-impact

보안 실무자와 AI 개발자가 주목해야 할 지점은 '발견'과 '검증' 사이의 시간 격차다. 클로드가 AES 공격 아이디어를 내고 구체화하는 데는 일주일이 걸렸지만, 암호학 전문가가 아닌 연구원들이 이 결과의 정확성을 확신하는 데는 한 달 가까운 시간이 소요됐다. AI가 생성하는 연구 결과물의 양이 폭증함에 따라, 인간 전문가가 이를 검증하는 과정이 전체 보안 파이프라인의 새로운 병목 구간(Bottleneck)이 될 가능성이 높다.

따라서 기업의 보안 담당자는 AI를 활용한 공격 시나리오가 더 정교해질 것임을 전제하고, 암호 체계의 업데이트 주기를 단축하거나 AI 기반의 자동화된 검증 도구를 도입하는 방안을 검토해야 한다. 특히 양자 내성 암호로의 전환을 준비하는 기업이라면, NIST의 표준화 진행 상황뿐만 아니라 AI 모델이 해당 알고리즘의 수학적 구조를 어떻게 분석하고 있는지에 대한 최신 벤치마크 결과를 관찰할 필요가 있다.

결국 AI는 암호 알고리즘을 파괴하는 도구인 동시에, 더 강력하고 회복력 있는 차세대 암호를 설계하는 도구로 활용될 것이다. 실무자는 AI가 발견한 취약점을 통해 기존 시스템의 한계를 빠르게 파악하고, 이를 보완하는 설계 루프를 구축하는 데 집중해야 한다.