이번 주 어느 기획자의 모니터에는 챗봇 창이 하루 종일 띄워져 있다. 그는 보고서의 목차부터 결론까지 모두 AI에게 맡겼고, 결과물은 매끄럽지만 어디서 본 듯한 뻔한 내용뿐이다. 정작 본인이 무엇을 말하고 싶었는지는 잊어버린 채 AI가 뱉어낸 문장들을 다듬는 데에만 시간을 쓰고 있다.

LLM의 확률적 예측과 토큰 생성 원리

LLM(거대 언어 모델, 방대한 데이터를 학습해 인간처럼 말을 하는 AI)의 작동 방식은 기본적으로 확률에 기반한다. 이 모델들은 다음에 올 가장 확률 높은 토큰(텍스트를 처리하는 최소 단위)을 예측하며 문장을 생성한다. 예를 들어 대한민국의 수도는이라는 입력이 들어오면, 학습 데이터 속에서 가장 빈번하게 등장한 서울이라는 단어를 선택하는 식이다. 이는 AI가 논리적으로 사고하는 것이 아니라, 통계적인 패턴을 복제하고 있음을 뜻한다.

이 과정의 핵심은 Transformer(트랜스포머, 문장 속 단어 간의 관계를 파악하는 신경망 구조)라는 아키텍처에 있다. 특히 Attention(어텐션, 문맥에서 중요한 단어에 더 집중해 의미를 파악하는 기술) 메커니즘을 통해 문장 내 단어들이 서로 어떤 영향을 주고받는지 계산한다. AI는 우리가 입력한 프롬프트(AI에게 내리는 지시어)를 수치화된 벡터(데이터를 숫자의 나열로 표현한 것)로 변환하고, 잠재 공간(데이터의 특징을 좌표로 나타낸 가상 공간)에서 가장 적절한 답변의 궤적을 찾아낸다. 결국 AI가 내놓는 답은 정답이라기보다, 학습한 데이터의 평균치에 가장 가까운 확률적 결과물이다.

대체하는 도구에서 확장하는 파트너로의 전환

예전에는 AI에게 정답을 요구하는 대체 방식으로 접근했다. 질문 하나에 완벽한 답을 얻으려 했고, AI가 내놓은 결과물을 그대로 복사해 붙여넣는 것이 효율적이라고 믿었다. 이는 제로샷 프롬프팅(제로샷 프롬프팅, 예시 없이 바로 답을 요구하는 방식)에 의존하는 형태였다. 하지만 이런 방식은 AI가 그럴듯한 거짓말을 하는 Hallucination(할루시네이션, AI가 사실이 아닌 내용을 확신 있게 말하는 현상)에 취약하며, 결과물의 수준이 평균치에 머무는 한계가 있다.

이제는 AI를 사고의 파트너로 삼는 확장 방식으로 바뀐다. 내가 짠 논리의 허점을 찾아달라고 요청하거나, 전혀 다른 관점의 반론을 제기하게 만들어 내 생각을 정교하게 다듬는 과정에 AI를 배치하는 것이다. 비유하자면, AI를 대신 글을 써주는 대필 작가가 아니라 내 생각을 자극하는 날카로운 편집자로 활용하는 셈이다. 이를 위해 Chain-of-Thought(생각의 사슬, AI가 단계별로 추론 과정을 거치게 하는 기법) 방식을 적용해 AI가 결론에 도달하기까지의 논리 구조를 함께 검토한다. 사용자가 AI의 결과물을 비판적으로 수용하고 다시 질문을 던지는 루프를 만들 때, 비로소 AI는 인간의 사고를 대체하는 것이 아니라 증폭시키는 지렛대가 된다.

개발자가 바로 체감하는 변화는 코드 생성의 관점에서도 나타난다. 단순히 함수 하나를 짜달라고 하는 것이 아니라, 특정 설계 패턴의 장단점을 비교하게 하고 최적의 구조를 함께 토론하며 아키텍처를 설계하는 방향으로 작업 흐름이 변하고 있다. 이는 도구의 성능 향상보다 도구를 다루는 인간의 관점 변화가 더 중요하다는 사실을 보여준다.

결국 AI 시대의 경쟁력은 정답을 빠르게 찾아내는 능력이 아니라, AI가 내놓은 평균적인 답을 뛰어넘는 질문을 던지는 능력에서 결정된다.