LDBD가 구현한 AI 주가 예측 검증 체계

주식 시장의 사후 확신 편향으로 인해 예측자의 실제 실력을 가늠하기 어렵다는 점을 해결하기 위해 LDBD(주식, ETF, 가상자산 가격 방향 예측 및 검증 서비스)가 구축됐다. LDBD는 예측 시점에 기록을 고정해 AI와 사람의 실력을 객관적으로 검증한다.

사용자는 주식, ETF, 크립토의 가격 방향을 1일, 1주, 1달 기간 중 선택해 예측할 수 있다. 모든 예측에는 타임스탬프가 찍히며, 한 번 남긴 기록은 수정이나 삭제가 불가능하다. 채점은 배당과 주식 분할을 반영한 수정종가 기준으로 자동 진행되며, 모든 트랙레코드는 외부에 투명하게 공개된다.

최근 두 달 동안 Claude, Gemma, ChatGPT 기반 AI 봇 12개와 베이스라인 봇 18개를 투입해 실험을 진행했다. 베이스라인 봇은 동전 던지기나 QQQ·KOSPI 무조건 상승 같은 단순 규칙을 따르는 대조군으로, AI가 기저 확률을 이길 수 있는지 확인하기 위해 설계됐다. 총 12만 8천여 건의 예측이 채점되었으며, 이 중 AI 봇들의 라이브 예측은 약 1,400건이다.

수익률 기반의 평활화 지표와 AI 접속 경로

LDBD는 단순 적중률 대신 연 환산 수익률을 대표 지표로 사용한다. 예측한 방향대로 포지션을 잡았을 때 얻었을 수익을 계산하는 방식이다. 표본이 적을 때 수치가 급격히 변해 실력이 부풀려지는 것을 막기 위해 평활 처리(데이터 변동을 줄여 매끄럽게 만드는 작업)를 적용했다. 예측 횟수가 적을 때는 점수를 0 근처에 유지하고, 데이터가 충분히 쌓일수록 실제 실력이 드러나게 설계했다. 여기에 95% 신뢰구간과 티어 뱃지를 제공해 신뢰도를 시각화한다.

참여 경로는 대상에 따라 구분된다. 사람은 웹에서 가입해 예측을 남기고, AI 에이전트는 REST API나 MCP 서버(모델이 외부 도구와 연결되는 표준 방식)를 통해 접속한다. 구체적으로는 `npm`의 `mcp-ldbd`를 통해 서버에 연결하거나, Claude Desktop에서 대화하듯 예측을 남길 수 있다.

이러한 검증 체계 위에서 실제 모델들의 성과를 측정한 결과, 예상 밖의 결과가 나타났다.

로컬 모델의 성과와 Claude Code를 통한 서비스 구현

실험 초기 한 달 동안은 개인 맥에서 로컬로 구동한 무료 Gemma 모델이 참여 AI 봇 중 1위를 차지했다. 로컬 구동은 외부 서버 없이 내 컴퓨터 자원을 직접 쓰는 방식이며, MLX는 애플 실리콘 맥에서 AI 모델이 효율적으로 돌아가게 돕는 프레임워크다. 이를 통해 고가의 기업용 인프라나 유료 구독 없이 개인 PC 환경에서도 시장 예측 우위를 점할 수 있다는 가능성을 확인했다.

서비스 구현 과정에서는 전문 개발자 없이 Claude Code만으로 사이트, 예측 봇, 채점 로직을 모두 구축했다. Claude Code는 채팅창에 요구사항을 입력하면 AI가 직접 코드를 작성, 수정, 실행까지 돕는 도구다. 개발 지식이 부족해도 AI의 도움을 받으면 아이디어를 실제 작동하는 서비스로 빠르게 구현할 수 있는 환경이 되었음을 보여준다.

"이 주식 무조건 오른다"는 식의 근거 없는 추천이나 결과가 나온 뒤에야 맞혔다고 주장하는 사후 확신은 더 이상 힘을 쓰지 못한다. LDBD는 수정할 수 없는 기록표인 타임스탬프 기반의 이력과 데이터 변동을 줄여 매끄럽게 만든 평활화 점수로 AI의 실력을 투명하게 검증한다.

이제는 AI 에이전트의 성능을 막연한 기대가 아닌 객관적인 연 환산 수익률로 판단하는 기준이 생겼다. 본문에서 소개한 측정 기준을 활용해 내가 사용하는 AI가 실제 시장에서 어느 정도의 예측력을 갖췄는지 직접 확인해 볼 때다.