도메인 전문성이 LLM 상호작용에 미치는 영향

도메인 전문성은 LLM에서 더 큰 가치를 끌어내는 핵심 변수로 작동한다. LLM의 보급으로 기술적 공백을 메우는 작업이 쉬워지며 누구나 여러 분야에서 준수한 결과를 내는 제너럴리스트가 될 수 있게 됐지만, 동일한 모델을 사용하더라도 초보자와 숙련자가 얻는 결과물의 수준은 사용자의 전문 지식 수준에 따라 갈린다. 이는 단순한 프롬프트 작성 기법의 차이가 아니라, 요청 분야에 대한 깊은 이해도가 모델의 출력 방향을 결정하기 때문이다.

테렌스 타오(Terence Tao)가 ChatGPT와 Jacobian Conjecture의 반례를 논의한 사례는 전문성이 대화 구조를 어떻게 바꾸는지 보여준다. 타오는 모델의 답변을 항목별로 일일이 반박하는 대신, 짧고 핵심적인 질문을 던지거나 간접적인 방식으로 재검토를 유도하며 대화를 주도했다. 특히 모델이 초보자에게 설명하는 방식이 아니라 수학자와 대화하듯 간결하게 답하도록 유도함으로써, 불필요한 설명을 줄이고 고도의 추론 과정에 집중하는 환경을 구축했다.

답변이 잘못되었다고 판단될 때 직접적인 모순을 선언하기보다 "기대했던 것보다 복잡해 보인다"는 식으로 접근하는 방식이 대표적이다. 이는 모델이 스스로 논리를 재점검하게 만드는 유도 장치로 작동한다. 또한 모델이 제안하는 다음 진행 방향을 무비판적으로 따르지 않고, 스스로 도약과 대안을 만들어 제시하며 모델을 도구로서 제어하는 양상을 보인다.

전문 지식을 통한 모델 제어 및 교정 메커니즘

전문 지식이 개입하는 구체적인 방식은 모델의 방대한 출력물에서 유효한 아이디어를 추출하고 오류를 판별하는 필터링 과정에서 드러난다. 테렌스 타오의 사례처럼 여러 문단으로 구성된 LLM의 답변 중 어떤 부분이 핵심적인 아이디어인지 골라내고, 다른 접근법이나 정식화를 제안하는 작업은 실제 수학적 지식 없이는 불가능하다. 즉, 모델이 생성한 결과물의 진위와 가치를 판단하는 기준점이 사용자 내부에 존재해야만 고도화된 결과물에 도달할 수 있다.

코드베이스에 대한 이해도는 개발자가 LLM을 밀어붙이는 강도를 결정한다. 시스템 설계 문제는 일반적인 소프트웨어 원칙보다 구체적인 세부 사항에 의해 결과가 크게 좌우되기 때문이다. 코드베이스에 대한 탄탄한 내부 이론을 가진 개발자는 LLM의 제안에 대해 "여기는 더 단순할 수 있다", "이미 X를 하고 있지 않은가", "익숙한 용어로 문제를 표현할 수 있는가"와 같이 구체적인 방향 교정을 수행한다.

이러한 교정 과정은 일반적인 소프트웨어 지식을 활용하는 것보다 실제 작업 중인 시스템의 구조와 흐름에 친숙할 때 더 강력하게 작동한다. 타오가 "X가 여기서 작동하는가", "Y와 Z가 주어졌는데 왜 A인가"라고 묻는 것과 마찬가지로, 개발자는 자신이 담당하는 GitHub 저장소의 구체적인 맥락을 바탕으로 질문을 던짐으로써 모델이 내부 지식을 더 정확하게 인출하도록 강제한다.

인간의 판단력이 만드는 성능 병목과 실무적 시사점

모델의 성능이 향상되어 내부적으로 더 많은 정보를 보유하게 되더라도, 원하는 해법의 종류를 정확히 전달하고 이를 끌어내는 과정에서는 인간의 판단과 소통 능력이 병목으로 남는다. LLM은 전문 지식이 없는 사용자에게도 최소한의 결과물을 제공하는 유용성을 갖췄지만, 지식을 갖춘 사용자는 모델의 출력을 적극적으로 조정해 동일한 모델에서 더 높은 가치를 창출한다. 결국 모델의 지능보다 이를 운용하는 인간의 판단력이 전체 작업의 품질을 결정하는 제약 조건이 된다.

개발자와 실무자는 범용적인 프롬프트 템플릿을 익히는 것보다 자신이 다루는 시스템의 아키텍처와 코드베이스에 대한 이해도를 높이는 데 집중해야 한다. 구체적인 시스템 맥락을 바탕으로 모델의 오류를 지적하고 방향을 교정할 수 있는 능력이 갖춰질 때, LLM을 단순한 보조 도구가 아닌 고도의 설계 파트너로 활용하며 성능 병목을 해결할 수 있다.