facts

경고 분석, 가설 수립, 텔레메트리 쿼리, 최근 배포 상관관계 분석, 그리고 실제 수정 구현까지 수행하는 'AI SRE(Site Reliability Engineer)' 도구들이 현장에 도입되고 있다. 이러한 도구들은 야간의 용량 문제 같은 루틴한 장애를 스스로 처리해 엔지니어가 깨지 않고도 문제를 해결하는 수준에 도달했다.

Rootly는 이러한 자동화 환경에서 엔지니어의 숙련도 저하를 막기 위해 Uptime Labs와 파트너십을 맺고 실전형 장애 시뮬레이션을 도입했다. 엔지니어는 가상의 이커머스 서비스 중단 상황에서 장애 지휘관(Incident Commander) 역할을 맡는다. 이 과정에서 관측성(Observability) 도구를 사용해 원인을 파악하고, 슬랙(Slack) 내에서 LLM(대규모 언어 모델)으로 구동되는 가상 이해관계자들과 소통하며 대응을 조율한다.

훈련의 핵심은 불완전한 정보 속에서 상황을 판단하고, CEO나 고객 지원팀 같은 이해관계자와 명확하게 소통하며 대응 체계를 유지하는 실무 능력을 배양하는 데 있다. 단순히 AI의 진단 과정을 관찰하거나 설명을 듣는 방식이 아니라, 직접 시스템을 조작하고 대응하는 '실행 기반 교육' 방식을 채택했다.

market-flow

루틴한 장애 대응의 자동화는 역설적으로 엔지니어가 시스템의 동작 방식과 실패 패턴을 학습할 '안전한 기회'를 앗아간다. 1983년 리산 바인브리지(Lisanne Bainbridge)가 제시한 '자동화의 역설(Ironies of Automation)'에 따르면, 자동화는 운영자가 일상적인 업무를 연습할 기회를 줄이는 동시에, 자동화가 해결할 수 없는 새롭고 비정상적인 상황에 대한 책임은 여전히 인간에게 남겨둔다.

이러한 흐름은 장애 복구 지표의 양극화로 이어진다. AI SRE의 도움으로 대부분의 일반적인 장애에 대한 평균 복구 시간(MTTR, Mean Time To Recovery)은 낮아지지만, 정작 자동화가 해결하지 못하는 복잡하고 희귀한 장애가 발생했을 때는 대응 시간이 급격히 늘어나는 현상이 발생한다. 시스템에 대한 직관을 잃어버린 엔지니어가 조사 단계에서부터 어려움을 겪기 때문이다.

결과적으로 LLM이 업무의 상당 부분을 대체하면서, 시스템의 실제 작동 방식과 대응자의 이해 수준 사이에 간극이 벌어지는 '이해 부채(Comprehension Debt)'가 쌓이는 흐름이 나타나고 있다. 이는 기술적 부채와는 다른 개념으로, 시스템을 관리하는 인간의 인지 능력이 기술의 복잡도를 따라가지 못하는 상태를 의미한다.

reader-impact

항공 산업의 대응 방식은 AI SRE 시대의 엔지니어가 참고할 수 있는 기준이 된다. 현대 항공기 엔진은 10만 비행시간당 1회 미만의 정지 사고가 발생할 정도로 안정적이지만, 조종사는 시뮬레이터를 통해 엔진 고장이나 실속 같은 희귀 상황을 반복 훈련한다. 미국 연방항공청(FAA) 규정에 따라 기장은 6개월마다 이륙 중 엔진 고장 시나리오를 포함한 정기 훈련이나 숙련도 점검을 완료해야 한다.

소프트웨어 엔지니어링 역시 AI가 루틴을 가져갈수록 '손으로 직접 하는(hands-on)' 제어권 확보가 중요해진다. 실무자는 다음의 관찰 신호와 대응 방안을 검토해야 한다.

첫째, 최근 6개월간 팀원들이 직접 해결한 장애 중 '루틴하지 않은' 사례가 얼마나 되는지 확인해야 한다. 모든 장애를 AI가 처리하고 있다면 이해 부채가 임계점에 도달했을 가능성이 크다.

둘째, 테이블탑 엑서사이즈(Tabletop exercises)와 카오스 엔지니어링(Chaos Engineering)을 단순한 인프라 테스트가 아닌 '인적 숙련도 유지 훈련'으로 재정의해야 한다. SEV0(최고 심각도 장애) 상황에서의 조율과 소통, 압박감 속에서의 판단력을 유지하기 위한 정기적인 시뮬레이션 환경을 구축하는 것이 필수적이다.

결국 AI SRE의 성공은 역설적으로 인간 엔지니어가 더 높은 수준의 숙련도와 훈련을 갖춰야 함을 의미한다. 자동화가 완벽할수록, 그것이 실패하는 순간을 대비한 '실행 기반의 훈련'만이 시스템의 최종 안전장치가 된다.