이번 주 개발자 커뮤니티에서 가장 뜨거운 논쟁은 "LLM 애플리케이션을 만들 때 프레임워크가 정말 필요한가"다. LlamaIndex의 공동 창업자이자 CEO인 Jerry Liu는 한 팟캐스트 인터뷰에서 이렇게 말했다. "프레임워크가 사용자들이 가벼운 방식으로 결정론적 워크플로를 구성하도록 돕는 필요성이 줄어들고 있다." 즉, 인덱싱 층, 질의 엔진, 검색 파이프라인, 정교하게 조율된 에이전트 루프 같은 '스캐폴딩 층'이 붕괴 중이라는 진단이다.

LlamaIndex CEO가 밝힌 세 가지 변화

Liu의 LlamaIndex는 RAG(검색 증강 생성, 외부 데이터를 LLM에 연결해 주는 기술) 프레임워크 중 가장 널리 쓰이는 도구다. 그런데도 Liu는 이런 유형의 프레임워크 자체가 덜 중요해지고 있다고 인정했다. 그 이유는 세 가지다. 첫째, 새 모델이 나올 때마다 구조화되지 않은 대량 데이터를 추론하는 능력이 인간보다 빨리 향상되고 있다. 둘째, MCP(Modern Context Protocol, 모델이 외부 도구를 발견하고 사용할 수 있게 해 주는 프로토콜)와 Claude Agent Skills 플러그인 덕분에 모델이 각 도구마다 별도 통합 없이도 도구를 찾아 쓸 수 있다. 셋째, 코딩 에이전트가 코드 작성을 대체하면서 개발자가 직접 라이브러리에 의존할 필요가 줄었다. 실제로 LlamaIndex 코드의 약 95%는 AI가 생성한다. Liu는 "엔지니어가 실제 코드를 쓰지 않는다. 모두 자연어로 입력한다"고 말했다. 프로그래머와 비프로그래머 사이의 층이 무너지고 있다는 의미다.

예전에는 사람이 직접 붙잡고 보던 작업이다

예전에는 개발자가 API 문서를 읽고, 통합 코드를 작성하고, 검색 파이프라인을 수동으로 조율해야 했다. 이제는 Claude Code(Anthropic의 코딩 에이전트)에 파일 경로만 가리키면 된다. Liu는 "3년 전에는 이런 작업이 극도로 비효율적이거나 에이전트가 그냥 망가졌을 것"이라고 회상한다. "이제는 매우 단순한 기본 요소만으로도 상대적으로 고급 검색을 구축할 수 있다." 변화의 핵심은 '도구 연결 방식'이다. 에이전트 패턴이 '관리형 에이전트 다이어그램'으로 수렴했다. 즉, 모든 워크플로마다 맞춤형 오케스트레이션(여러 단계를 조율하는 코드)을 짜는 대신, 하나의 하네스 층(에이전트를 감싸는 실행 환경)에 도구와 MCP 커넥터, 스킬 플러그인을 붙이는 방식으로 단순화됐다.

개발자가 바로 체감하는 변화는 파일 포맷 해석 능력이다

스캐폴딩 층이 사라지면 무엇이 차별화 요소가 될까. Liu는 "맥락(context)"이라고 답했다. 에이전트가 파일 포맷을 해독해 정확한 정보를 추출하는 능력이 중요해진다. 더 높은 정확도와 저렴한 파싱(문서를 분석해 필요한 데이터를 뽑아내는 작업)이 핵심 경쟁력이 된다. LlamaIndex는 OCR(광학 문자 인식, 이미지 속 글자를 텍스트로 변환하는 기술)을 통한 에이전트 문서 처리에서 이점을 가진다고 Liu는 주장한다. "우리는 모든 파일 포맷 컨테이너에 갇혀 있는 핵심 데이터가 있다는 걸 확인했다." 또한, Anthropic 같은 업체가 세션 데이터를 잠글 가능성에 대한 우려가 커지는 가운데, Liu는 모듈성과 중립성(agnosticism)을 강조한다. 개발자는 특정 최첨단 모델에 베팅하거나 스택을 과도하게 복잡하게 만들어서는 안 된다. "새 모델이 나올 때마다 승자가 바뀐다. 유연성을 확보해야 한다."

검색은 '에이전트 + 샌드박스' 형태로 진화했으며, 기업은 코드베이스의 기술 부채를 없애고 변화하는 패턴에 적응할 수 있어야 한다. 스택의 일부는 결국 폐기해야 한다는 점을 인정해야 한다는 게 Liu의 조언이다.