우리가 스마트폰으로 AI에게 질문을 던지면 잠시 동안 모래시계가 돌아간다. 내 질문이 아주 멀리 떨어진 거대한 컴퓨터실로 여행을 떠났다가 다시 돌아오는 시간이다. 만약 이 똑똑한 뇌가 내 주머니 속 스마트폰에 그대로 들어있다면 어떨까. 인터넷이 없어도, 기다림이 없어도 AI가 바로 답을 준다면 우리의 일상은 어떻게 변할까.

Google이 도입한 MoE와 PLE의 결합

보통 AI는 덩치가 커질수록 똑똑해지고, 크기를 줄이면 바보가 되는 성질이 있다. Google은 이 문제를 해결하기 위해 MoE(필요한 부분만 골라 쓰는 뇌 구조)라는 새로운 설계도를 가져왔다. 모든 뇌세포를 한꺼번에 사용하는 대신, 지금 질문에 꼭 필요한 부분만 깨워서 사용하는 방식이다. 마치 도서관의 모든 책을 다 읽는 것이 아니라, 필요한 주제의 책장으로 바로 달려가는 것과 같다.

여기에 PLE(단어를 더 효율적으로 기억하는 방법)라는 기술을 더해 기억력은 높이면서 몸집은 획기적으로 줄였다. 이 두 기술이 합쳐지자 아주 작은 모델임에도 글자와 그림, 소리를 동시에 이해하는 능력이 관찰된다. 작은 몸집으로도 큰 모델의 성능을 낼 수 있다는 사실이 구체적으로 증명된 셈이다.

인터넷 연결 없는 AI가 가져올 개인정보 보호와 속도

지금까지의 AI는 내 정보를 외부 서버로 보내야만 작동했다. 하지만 AI가 내 기기 안에서 직접 움직이면 내 비밀번호나 개인적인 일기가 밖으로 나갈 일이 없다. 마치 일기장을 우체국에 보내서 교정을 받는 것이 아니라, 내 방 책상에서 직접 고치는 것과 같다. 데이터가 외부로 흐르지 않기에 보안 사고의 위험이 사라진다.

또한 인터넷을 거치지 않기에 대답 속도가 비약적으로 빨라진다. 특히 이번 모델은 코딩(컴퓨터가 알아듣는 언어로 명령서를 쓰는 일) 능력이 뛰어나며, 에이전트(스스로 일을 처리하는 인공지능 비서)로서 스스로 계획을 세우고 실행하는 모습이 보인다. 여기에 컨텍스트 윈도우(AI가 한 번에 읽을 수 있는 책의 분량)까지 넓어져 아주 긴 문서도 한 번에 읽어낼 수 있다. 이제 AI는 단순한 답변기를 넘어 내 기기를 직접 조작하는 실행자로 진화하고 있다.

서버 비용 절감과 앱 서비스의 구조적 변화

이 기술이 실제 서비스에 적용되면 개발자들이 코드를 짜는 방식이 달라진다. 지금까지는 AI 기능을 넣으려면 비싼 서버 비용을 매달 내야 했지만, 이제는 사용자의 스마트폰 성능을 빌려 쓸 수 있다. 이는 앱이 인터넷이 안 되는 비행기 안이나 깊은 산속에서도 똑똑하게 작동할 수 있음을 의미한다.

또한 서버로 데이터를 주고받는 통신 비용이 사라지므로 서비스 운영 비용이 크게 줄어든다. 개발자들은 이제 서버의 성능을 높이는 일보다 사용자의 기기에서 AI가 얼마나 효율적으로 돌아가는지에 더 집중하게 될 것이다. AI의 실행 위치가 구름 위에서 내 손바닥 위로 내려오는 구조적 변화가 시작되었다.

거대한 컴퓨터실에 갇혀 있던 AI가 이제 우리 곁의 작은 기기들로 스며들고 있다. 누구나 고성능 AI를 내 것처럼 자유롭게 사용하는 시대가 성큼 다가왔다.