한 개발자가 실시간 센서 데이터를 LLM(거대언어모델)에 연결해 분석하는 시스템을 구축해 봤다고 한다. 그는 데이터가 저장소에서 백엔드를 거쳐 모델로 전달되는 과정에서 발생하는 지연 시간과 복잡한 파이프라인에 주목했다.

데이터가 이동하는 경로가 길어질수록 시스템은 무거워지고 응답 속도는 느려진다. 특히 1초에도 수천 번씩 쏟아지는 시계열 데이터 환경에서는 이 작은 지연이 전체 서비스의 품질을 결정짓는 핵심 요소가 된다.

마크베이스의 기능 확장과 데이터 처리

마크베이스(시계열 데이터의 흐름을 기록하는 데이터베이스)는 최신 버전에서 DB 내부 스크립트 실행 환경을 도입했다. 이제 데이터베이스는 단순히 값을 저장하는 통이 아니라, 저장된 데이터를 바탕으로 특정 명령어를 직접 수행하는 능력을 갖추게 되었다.

여기에 REST API(서로 다른 소프트웨어가 통신하기 위한 표준 인터페이스)와 MQTT(저전력 기기 간 메시지를 주고받는 통신 규약) 연동 기능을 더했다. 외부 장치에서 들어오는 신호를 DB가 직접 받고, 처리 결과물을 다시 외부로 쏘아주는 통로를 내부에 구축한 것이다.

데이터 형식의 유연성도 높였다. 기존의 정형화된 시계열 데이터뿐만 아니라 JSON(데이터를 주고받기 위한 가벼운 텍스트 형식) 처리 능력까지 한곳에 모았다. 이를 통해 다양한 형태의 로그 데이터와 센서 값을 동시에 다룰 수 있는 환경이 마련되었다.

저장소에서 실행 환경으로 바뀐 데이터 흐름

예전에는 데이터의 역할 분담이 매우 엄격했다. DB는 오직 저장만 담당하고, 파이썬 같은 백엔드 언어가 데이터를 가져와 가공하며, LLM은 외부 서비스로서 최종 결과만 내놓는 식이었다.

비유하자면 재료는 창고(DB)에 보관하고, 요리는 멀리 떨어진 주방(백엔드)에서 하며, 서빙은 외부 직원(LLM)이 담당하는 구조였다. 재료를 옮기는 시간과 인력이 계속해서 소모되는 비효율이 발생했다.

이제는 창고 안에 작은 주방과 서빙 데스크가 함께 들어온 셈이다. DB 내부에서 직접 스크립트를 돌려 데이터를 정제하고, API로 소통하며 실시간으로 처리한다. 쉽게 말하면 DB가 단순한 저장소를 넘어 런타임(프로그램이 실행되는 환경)의 역할까지 수행하게 된 것이다.

개발자가 체감하는 가장 큰 변화는 데이터 이동 경로가 획기적으로 짧아졌다는 점이다. 특히 IoT(사물인터넷) 환경에서는 모델의 절대적인 성능보다, 쏟아지는 데이터를 얼마나 빨리 연결하고 문맥을 파악하느냐는 컨텍스트 연결 비용이 더 중요하다.

데이터를 밖으로 꺼내지 않고 내부에서 즉시 처리하면 네트워크 부하가 줄어들고 응답 속도는 빨라진다. AI 에이전트가 실시간 데이터를 기반으로 판단을 내려야 하는 상황에서, DB가 직접 실행 환경이 되어주는 구조는 자연스러운 흐름이다.

데이터베이스는 이제 단순한 기억 장치가 아니라 스스로 생각하고 움직이는 AI의 몸체가 되고 있다.