우리가 집에서 숙제를 하거나 궁금한 것을 물어볼 때 인공지능을 쓰는 것은 아주 쉽습니다. 하지만 나라의 중요한 일을 하는 정부 기관이나 시청 같은 곳에서는 이야기가 다릅니다. 그들은 왜 우리처럼 인공지능을 마음껏 쓰지 못하고 망설이는 것일까요.

보안 걱정과 부족한 컴퓨터 부품

해외 매체에 따르면 전 세계 공공기관 책임자의 79%가 인공지능을 쓸 때 데이터 보안을 걱정합니다. 정부가 다루는 정보는 국민의 개인정보나 국가 비밀처럼 아주 민감한 내용이 많기 때문입니다. 이런 정보를 인터넷 너머에 있는 인공지능에게 보내는 것은 매우 위험한 일입니다.

장비 문제도 심각합니다. 인공지능을 돌리려면 GPU(그래픽 처리 장치: 인공지능의 복잡한 계산을 빠르게 도와주는 부품)라는 비싼 부품이 많이 필요한데, 정부 기관은 이런 장비를 사고 관리하는 데 익숙하지 않습니다. 인터넷이 연결되지 않은 환경에서 일해야 하는 경우도 많아 기존의 방식으로는 인공지능을 쓰기 어렵습니다. 결국 정부 기관은 보안과 장비라는 두 가지 큰 벽에 부딪힌 셈입니다.

거대한 백과사전보다 작은 맞춤형 수첩

지금까지 우리가 알던 인공지능은 LLM(거대 언어 모델: 엄청나게 많은 데이터를 공부해서 무엇이든 대답하는 인공지능)이었습니다. 비유하자면 LLM은 아주 먼 도시에 있는 거대한 백과사전 도서관과 같습니다. 질문을 하려면 내 정보를 도서관으로 보내야 하고, 도서관이 문을 닫거나 길이 막히면 사용할 수 없습니다.

반면 SLM(소형 언어 모델: 특정 분야만 집중적으로 공부해서 크기를 줄인 인공지능)은 내 책상 위에 놓인 작은 맞춤형 수첩과 같습니다. 덩치가 작아서 비싼 장비가 없어도 내 컴퓨터 안에서 바로 돌릴 수 있습니다. 정보를 외부로 보낼 필요가 없으니 보안 걱정도 사라집니다. 쉽게 말해, 모든 것을 다 아는 거인보다 내가 필요한 일만 정확히 아는 작은 전문가를 곁에 두는 방식입니다. 정부 기관에는 덩치 큰 인공지능보다 작고 안전한 인공지능이 더 적합합니다.

산더미 같은 서류를 정리하는 새로운 방법

작은 인공지능이 도입되면 공무원들의 일하는 방식이 완전히 달라집니다. 정부 기관에는 PDF(전자 문서 파일)나 스캔한 이미지, 복잡한 표 같은 정리되지 않은 서류들이 산더미처럼 쌓여 있습니다. 예전에는 사람이 일일이 읽고 찾아야 했지만, 이제는 인공지능이 이를 대신합니다.

여기에 벡터 검색(단어의 뜻을 숫자로 바꿔서 비슷한 의미를 찾아내는 기술) 같은 기능을 더하면 더욱 강력해집니다. 예를 들어 법률 용어가 가득한 어려운 서류에서 필요한 내용만 쏙쏙 뽑아내거나, 여러 나라 언어로 된 보고서를 빠르게 요약할 수 있습니다. 단순히 채팅을 하는 수준을 넘어, 복잡한 법을 해석하고 데이터를 분석해 더 좋은 결정을 내리도록 돕는 것입니다. 결국 작은 인공지능은 공공 서비스의 질을 높이는 실무 도구가 됩니다.

이제 인공지능의 흐름은 데이터를 인공지능에게 보내는 것이 아니라, 인공지능을 데이터가 있는 곳으로 가져오는 방향으로 움직이고 있습니다.