반복적 EDA의 번거로움과 에이전틱 AI의 등장

데이터 사이언티스트는 그동안 데이터 임포트, 요약 통계 생성, 분포 시각화, 이상치 탐색으로 이어지는 탐색적 데이터 분석(EDA) 과정을 수동으로 수행하며 많은 업무 시간을 소모했다. 분석가는 매 프로젝트마다 유사한 전처리 코드를 작성하고 시각화 결과물을 일일이 확인하는 절차적 반복 작업에 노출되어 있었다. 이러한 환경에서 최근의 AI 시스템은 단순한 응답 생성을 넘어 스스로 계획을 수립하고 다단계 작업을 실행하며 외부 도구를 호출하는 단계로 진화했다. AI 시스템은 결과가 기대에 미치지 못할 때 스스로 루프를 돌아 피드백을 반영하는 자율적이고 목표 지향적인 행동(autonomous, goal-directed behavior)을 수행한다. 이러한 변화는 데이터 사이언티스트가 매일 수행하던 일상 업무의 구조를 근본적으로 재작성하며 절차적 소모를 줄이는 방향으로 전개되고 있다.

정적 응답의 LLM을 넘어선 인지-추론-행동 루프

기존의 거대언어모델(LLM) 인터랙션은 사용자가 프롬프트를 입력하면 모델이 단일 정적 응답을 출력하고 종료되는 선형적 구조로 작동했다. 반면 에이전틱 AI는 환경을 인식(Perceive)하고, 다음 행동을 추론(Reason)하며, 가용한 도구를 사용해 행동(Action)하고, 그 결과를 평가(Evaluate)하는 연속적인 반복 루프를 수행한다. 에이전트는 목표를 수신하면 적절한 도구를 선택해 실행하고, 관찰된 결과를 바탕으로 추론 과정을 업데이트하여 경로를 수정하거나 다음 단계로 전진한다. 이 과정은 사용자에게 보이지 않는 백엔드에서 수십 단계의 이산적 스텝으로 전개되며 최종 목표를 달성한다. 결과적으로 AI는 단순한 텍스트 생성기에서 벗어나 도구 사용 권한과 추론 엔진을 결합해 독립적으로 작동하는 실행 주체로 변모했다.

네이티브 도구 통합을 통한 데이터 파이프라인 자동화

에이전틱 AI는 데이터 사이언스 실무에서 네이티브 도구 통합(native tool integration) 형태로 구체화되어 절차적 작업을 자동화한다. 에이전트는 인간의 개입 없이 데이터셋 검색, 데이터 정제, 탐색적 분석, 베이스라인 모델 학습, 결과 평가, 구조화된 보고서 작성에 이르는 전 과정을 단독으로 수행한다. 이러한 자동화는 머신러닝 엔지니어링 영역으로 확장되어 전처리 방식 선택, 모델 선정, 하이퍼파라미터 튜닝과 같은 수동 반복 파이프라인을 에이전틱 오케스트레이션이 관리하는 구조로 바꾼다. 과거에 엔지니어가 직접 파라미터를 수정하고 학습 결과를 확인하던 시행착오 과정은 이제 에이전트가 스스로 가설을 세우고 도구를 호출해 실험하는 루프로 대체된다. 이를 통해 데이터 사이언티스트는 단순 구현에 드는 시간을 줄이고 핵심 결정 지점에서 결과의 타당성을 판단하는 역할에 집중하게 된다.

smolagents와 LangGraph를 통한 기술적 오케스트레이션

에이전틱 AI의 구현은 smolagents나 LangGraph와 같은 프로덕션 등급의 오케스트레이터(Orchestrator)를 통해 가능해졌다. 이들 프레임워크는 모델에 도구에 대한 구조적 접근 권한을 부여하고, 이를 제어할 수 있는 추론 엔진을 결합하는 핵심 원리로 작동한다. smolagents는 가벼운 구조로 빠른 프로토타입 제작에 적합하며, LangGraph는 상태 기반의 복잡한 멀티 에이전트 워크플로우와 순환 구조를 설계하는 데 사용된다. 오케스트레이터는 모델이 어떤 도구를 어떤 순서로 사용할지 결정하게 하며, 실행 결과가 예상과 다를 때 스스로 논리를 수정하는 기술적 뼈대 역할을 수행한다. 데이터 사이언티스트는 이러한 도구를 활용해 단순한 코드 생성을 넘어 실제 작업이 완결되는 자율 시스템을 구축함으로써 개인이 배포할 수 있는 결과물의 양과 질적 상한선을 높일 수 있다.

평가적 사고로의 전환과 책임감 있는 배포 전략

AI 에이전트가 '어떻게 하는가'라는 절차적 무게를 흡수함에 따라, 데이터 사이언티스트의 역량은 '이것이 옳은가'를 판단하는 평가적 무게(evaluative weight)로 이동한다. 이제는 파이썬, 통계학, 머신러닝이라는 기초 역량 위에 자율 시스템을 설계하고 배포하며 검증하는 능력이 새로운 핵심 경쟁력이 된다. 실무자는 전체 공정을 한 번에 자동화하기보다, 단일 에이전트 시스템에 수동 작업과 밀접한 도구 2개를 먼저 연결하고 예상 결과가 명확한 문제로 신뢰성을 검증하는 단계적 접근이 필요하다. 이후 전문 영역을 담당하는 두 번째 에이전트를 추가하고, 상세 로깅 설정과 구체적인 성공 기준 정의를 통해 시스템 오류의 원인을 파악하는 체계를 구축해야 한다. 결국 자율 시스템을 책임감 있게 배포하고 그 결과가 통계적으로 유효한지 판별하는 평가적 사고가 데이터 사이언티스트의 새로운 직무 기준이 된다.