AI 거버넌스의 기술적 범위와 SCC 분류 체계

전통적인 사이버 보안 모델은 데이터 저장 및 처리 시스템의 경계를 보호하고 무단 접근을 차단하는 데 집중한다. 하지만 머신러닝 모델은 학습 데이터를 그대로 저장하지 않고 통계적 패턴을 수백만 개의 매개변수에 흡수하는 특성을 가진다. 이 과정에서 원본 입력은 사라지지만, 오염되거나 편향된 데이터가 모델의 판단에 미치는 '무단 영향(unauthorized influence)'은 그대로 남는다. 배포 후에는 이러한 영향이 매개변수 전체에 분산되어 재학습 없이는 되돌리기 어렵다는 제약이 있다.

데이터 분류 체계는 기존의 CIA(기밀성 Confidentiality, 무결성 Integrity, 가용성 Availability) 삼요소에 SCC라는 세 가지 차원을 추가해 관리 범위를 확장한다. 민감도(Sensitivity)는 오용 시 개인이나 기업에 미칠 피해와 윤리적 평판 영향을 평가한다. 중요도(Criticality)는 해당 데이터가 의료 진단이나 재무 보고 같은 중대한 AI 결정에 미치는 영향력을 측정한다. 규정 준수(Compliance)는 수집, 보존, 변환, 사용 과정에서 법률, 계약, 라이선스 제약을 확인하며, 특히 미세 조정(Fine-tuning)이나 자율 에이전트 활용 가능 여부를 판단한다.

관리 연속성(Chain of Custody)의 6대 작동 원칙

관리 연속성은 법정 증거 수집 원칙을 AI 파이프라인에 적용한 것으로, 데이터가 모델에 학습되기 전부터 전 과정을 기록해 법적 증거 수준의 기반을 만드는 메커니즘이다. 학습이 완료된 후에는 신경망을 역으로 추적해 데이터 계보를 복원하는 것이 기술적으로 매우 어렵기 때문에, 투입 전 단계에서 검증 가능한 기록을 생성하는 것이 핵심이다.

이 체계를 구현하는 6가지 기본 원칙은 다음과 같다. 첫째, 식별 가능한 출처를 통해 제공 조직, 취득일, 수집 방법, 라이선스 권리를 기록한다. 둘째, 보유·취급 기록으로 생명주기 각 단계의 접근자와 수행 작업, 영향을 받은 버전을 남긴다. 셋째, 데이터셋 해시, 디지털 서명, 불변 스토리지(Immutable Storage)를 활용해 변조 증거를 확보한다. 넷째, 주기적 해시 검증과 학습 파이프라인 재현성 테스트로 무결성을 검증한다. 다섯째, 사람과 기계의 신원, 타임스탬프를 연결한 접근 제어 로그를 유지한다. 여섯째, 데이터셋과 모델 설정, 학습 로그, 평가 결과의 과거 기록을 보존해 예상 밖의 결과 발생 시 구축 과정을 재현한다.

인프라 구축 및 운영상의 고려사항

인프라 감사 과정에서는 중요한 결정에 영향을 주는 AI 시스템을 목록화하고, 학습 및 미세 조정, 검색(RAG)에 사용된 데이터의 출처와 적법한 사용 권리를 확인한다. 외부 모델 API를 사용하더라도 프롬프트와 RAG 데이터가 모델 판단에 영향을 주므로 감사 범위에 포함한다. 보안 통제 측면에서는 데이터 오염, 승인되지 않은 학습 실행, 적대적 입력(Adversarial Input), 에이전트의 신원 및 권한 관리를 기존 사이버 보안 프로그램에 통합해야 한다.

공급업체 선정 기준은 단순한 기술 기능과 가격을 넘어 출처와 재현성, 감사 협조 및 변경 통지 의무를 포함하는 방향으로 전환된다. 외부 데이터나 제3자 모델을 사용할 경우, 공급업체가 어떤 데이터로 모델을 구축했는지 알 수 없다면 최종 의사결정의 생성 과정을 증명할 수 없기 때문이다. 따라서 계약 단계에서 데이터 출처 문서 제공과 무결성 통제 의무를 명시하는 것이 필수적이다.

실무자가 판단 기준을 바꿔야 할 지점은 AI 신뢰를 '가정'하는 것이 아니라, 데이터-모델-결정을 잇는 관리 연속성 인프라를 통해 '증명'하는 체계로 전환하는 것이다.