전통적 필터가 놓치는 AI 생성 피싱의 정교함
누구나 ChatGPT 같은 생성형 AI를 사용해 문법적으로 완벽하고 정중한 비즈니스 메일을 작성하는 시대다. 하지만 이러한 기술적 편의는 공격자에게도 동일하게 적용되어, 이제는 완벽한 문장과 형식이 오히려 정교한 피싱 메일의 신호가 되고 있다. 아마존 베드락(Amazon Bedrock)은 단순히 문법이나 형식을 검사하는 것이 아니라, 행동 패턴과 맥락적 이상 징후를 분석해 AI가 생성한 피싱 시도를 탐지한다.
중소기업의 보안 엔지니어인 존(John)이 겪었던 과거의 피싱 탐지는 명확한 규칙을 따랐다. 오타를 찾아내고, 불특정 다수에게 보내는 일반적인 인사말을 걸러내며, 발신자 도메인이 일치하지 않는 메일을 격리하는 방식이었다. 당시의 공격은 정밀함보다 물량 공세에 의존해 수백만 건의 오류 섞인 메일을 무작위로 발송했기에, 단순한 규칙 기반 필터만으로도 충분한 방어 효과를 거둘 수 있었다.
최근의 공격자들은 생성형 AI와 OSINT(Open Source Intelligence, 공개된 디지털 발자국을 통해 정보를 수집하는 기법)를 결합해 정밀 타격 방식으로 전환했다. 이들은 전문 인맥 네트워크, 기업 웹사이트, 공개된 디지털 기록을 통해 조직의 계층 구조와 내부 관계를 상세히 매핑한다. 이렇게 수집한 지능형 데이터를 대규모로 처리하여 타겟 조직에 최적화된 개인화 세부 정보와 적절한 맥락을 갖춘 메시지를 생성한다. 생성된 메일은 문법적으로 완벽하며, 수신자의 응답에 따라 실시간으로 톤을 바꾸거나 내용을 수정하며 일관성을 유지한다.
표준 인증을 넘어선 AI 기반 다단계 분석 파이프라인
Amazon Bedrock은 기존의 표준 인증 절차를 1단계로 수행해 기초적인 신원을 확인한다. SPF(발신 서버 권한 확인)를 통해 메일을 보낸 서버가 해당 도메인의 권한을 가졌는지 확인하고, DKIM(메일 변조 여부 확인)으로 전송 과정에서 내용이 수정되지 않았는지 검증한다. 여기에 DMARC(도메인 기반 메일 인증 및 보고)를 더해 도메인 인증 상태를 최종 확인하고 보고 절차를 밟는다.
2단계에서는 AI가 세 가지 핵심 요소를 통해 행동 패턴을 분석한다. 먼저 사용되는 단어 선택을 살피고, 평소의 통신 스타일과 비교해 발생하는 편차를 측정하며, 요청 내용이 현재의 맥락에서 적절한지를 판단한다. 문법이 완벽하고 형식이 전문적이라도 동료가 평소 쓰지 않는 단어를 사용하거나, 갑작스럽게 이례적인 권한을 요청한다면 AI는 이를 이상 징후로 포착한다.
전체 작동 순서는 체계적인 다단계 파이프라인으로 구성된다. 가드레일 스크리닝(입출력 필터링)으로 부적절한 콘텐츠나 민감 정보를 걸러낸 뒤, AI 분석 단계에서 행동 패턴과 맥락적 이상 징후를 정밀하게 살핀다. 이후 분석 결과를 수치화하는 리스크 스코어링(위험도 점수 산정)을 수행하고, 이 점수를 바탕으로 메일을 수신함으로 전달할지 혹은 격리할지 최종 라우팅 결정을 내린다.
이러한 분석 파이프라인이 오작동하거나 민감한 정보를 유출하지 않도록 Amazon Bedrock은 별도의 보안 거버넌스 층을 운용한다.
Amazon Bedrock Guardrails를 통한 보안 거버넌스 구현
Amazon Bedrock Guardrails는 모델의 입력 프롬프트와 출력 응답 모두에 보안 거버넌스 층을 추가한다. 이 기능은 콘텐츠 필터, 거부 주제 설정, 단어 필터, 민감 정보 필터라는 네 가지 제어 수단을 통해 AI의 상호작용을 조직의 책임 있는 AI 정책에 맞춘다. 관리자는 별도의 탐지 로직을 직접 코딩하지 않고도 설정값 변경만으로 모델의 응답 범위를 제한한다.
분석 과정에서 발생할 수 있는 데이터 유출은 PII(개인 식별 정보, 이름이나 전화번호 등 개인을 식별할 수 있는 정보) 자동 마스킹 및 삭제 기능으로 제어한다. 보안 엔지니어는 가드레일을 설정해 이메일 분석 중에 발견된 민감한 개인 정보를 자동으로 식별하고 이를 가리거나 삭제하도록 구성한다. 이는 파운데이션 모델이 분석 결과를 생성하는 과정에서 기밀 데이터를 외부에 노출하는 리스크를 차단한다.
모델이 거짓 정보를 사실처럼 생성하는 환각(Hallucination) 현상을 방지하기 위해 맥락적 근거 확인(Contextual Grounding Checks) 기능을 사용한다. 모델의 응답을 분석 대상인 메일 본문 내용에 엄격하게 고정하여, AI가 메일에 포함되지 않은 외부 정보를 임의로 가져오거나 허구의 맥락을 생성하는 것을 막아 판정의 정확도를 높인다.
다만 가드레일의 효율성은 정밀한 캘리브레이션(Calibration, 설정값 최적화) 수준에 따라 결정된다. 필터 설정이 지나치게 엄격하면 분석이 필요한 의심 콘텐츠까지 차단되어 피싱 위협을 탐지하지 못하는 공백이 생긴다. 따라서 공격자가 필터를 우회하기 위해 의도적으로 불쾌한 언어를 포함시킨 경우에도 보안 시스템이 이를 분석할 수 있도록 허용하는 동시에, 일반 사용자 응답에서는 부적절한 출력이 나가지 않도록 설정값을 정교하게 조정해야 한다.
사후 대응에서 능동적 탐지로의 전환: 발신자 베이스라인
아마존 베드락은 사용자의 평소 소통 데이터를 축적하기 위해 Sender Baseline Tracker(발신자 베이스라인 트래커, 개별 발신자의 통신 특성을 기록하는 프로필 시스템)를 운용한다. 이 시스템은 조직 내 구성원이 메일을 작성할 때 사용하는 단어 선택, 격식의 수준, 주로 요청하는 내용, 주요 소통 대상과 같은 세부 정보를 기록해 개별 프로필로 관리한다.
축적된 데이터는 실시간 메일 분석의 참조점으로 작동한다. 아마존 베드락 분석 파이프라인은 수신된 메일을 Sender Baseline Tracker에 저장된 정상 패턴과 대조해 스타일 편차를 분석한다. 평소 정중한 격식을 갖춰 소통하던 동료가 갑자기 급박한 톤으로 송금을 요청하거나, 평소 소통하지 않던 대상에게 이례적인 요청을 보내는 경우를 이상 징후로 식별한다. AI가 학습한 정상 범위와 실시간 입력값 사이의 거리를 측정해 리스크를 산출하는 방식이다.
이러한 방식은 보안 관리자가 매번 새로운 공격 패턴을 학습해 필터 규칙을 업데이트해야 했던 사후 대응 방식에서 벗어나게 한다. 조직 내부의 실제 소통 데이터를 기반으로 맞춤형 보안 체계를 구축함으로써, 외부에서 유입되는 정교한 AI 생성 피싱 메일을 능동적으로 차단할 수 있다. 특히 조직별로 상이한 소통 문화를 AI가 스스로 학습하므로 범용 필터보다 오탐률을 낮추는 효과가 있다.
생성형 AI의 보급으로 문법적 완결성과 정중한 형식이 더 이상 메일의 진위 여부를 가르는 척도가 되지 않는다. 이제 보안의 핵심은 SPF나 DKIM 같은 서버 인증을 넘어, 사용자별 통신 베이스라인을 통해 평소와 다른 행동 패턴과 맥락적 이상 징후를 정밀하게 분석하는 능력에 있다.
단순한 규칙 기반의 필터링을 업데이트하는 수동적 방식으로는 정교해지는 AI 공격을 막을 수 없다. 사용자별 통신 베이스라인을 구축하고 이를 기반으로 요청의 적절성을 판단하는 기준을 세우는 것이 AI 시대의 새로운 보안 표준이다.
