학부 연구생 R씨는 앱에 요약 기능을 넣기 위해 API 키를 발급받고 서버 응답 속도와 비용 계산에 매달렸다. 네트워크 상태에 따라 기능이 멈추거나 카드 결제 문제로 서비스가 중단되는 상황을 마주하며 설계의 취약함을 깨달았다. 이런 곤란을 겪는 개발자가 늘고 있다.

최근 소프트웨어 개발 흐름은 기능 구현을 위해 OpenAI나 Anthropic의 API를 호출하는 방식에 치중되어 있다. 하지만 이러한 구조는 서버 장애나 계정 문제 발생 시 서비스 전체가 마비되는 취약성을 내포하며, 사용자 데이터를 외부 서버로 전송함에 따라 데이터 보존 및 보안 감사라는 복잡한 관리 비용을 발생시킨다.

Apple 로컬 모델 API와 온디바이스 처리

Apple은 개발자가 기기 내장 AI 모델을 쉽게 사용할 수 있도록 로컬 모델 API(기기 자체에서 AI를 구동하는 인터페이스)를 제공한다. 이 방식은 외부 서버를 거치지 않고 기기에 탑재된 Neural Engine(인공지능 연산을 전담하는 하드웨어 가속기)을 직접 활용하여 응답 시간을 단축한다.

The Brutalist Report(뉴스 애그리게이터 서비스)라는 iOS(Apple의 모바일 운영체제) 앱은 이 기술을 통해 기기 내에서 직접 기사 요약을 수행한다. 긴 콘텐츠의 경우 텍스트를 약 10,000자 단위로 나누어 1차적으로 사실 중심의 노트를 생성하고, 이를 다시 결합해 최종 요약본을 만드는 2단계 공정을 거친다.

이러한 로컬 모델의 강점은 데이터 변환 작업에서 극대화된다. 입력 데이터가 이미 사용자 기기에 존재하는 상황에서 요약이나 분류 같은 가벼운 출력을 생성할 때, 굳이 전 세계의 지식을 학습한 거대 모델을 호출하지 않고도 충분한 성능을 낼 수 있다는 점이 관찰된다.

비정형 텍스트에서 타입 기반 구조화 데이터로

예전에는 모델에게 JSON(데이터를 주고받기 위한 표준 텍스트 형식) 형식을 요청하고 결과값이 스키마에 맞게 나오기를 기대하는 방식이 일반적이었다. 이 과정에서 마크다운의 불릿 포인트를 일일이 파싱하거나 모델이 형식을 무시해 UI가 깨지는 문제가 빈번하게 발생했다.

이제는 Swift struct(데이터 구조를 정의하는 Swift 언어의 기본 타입)를 정의해 모델에게 전달하고, 각 필드에 대한 가이드를 자연어로 제공하여 해당 타입의 인스턴스를 직접 생성하게 한다. 모델의 출력이 단순한 텍스트 덩어리가 아니라 앱이 즉시 사용할 수 있는 타입화된 데이터로 변환되므로, UI 렌더링의 일관성이 확보된다.

개발자가 체감하는 실무적 이점은 AI를 단순한 채팅창이 아니라 예측 가능한 하위 시스템으로 통합할 수 있다는 점이다. 요약, 분류, 추출, 정규화와 같은 데이터 변환 작업은 로컬 모델만으로도 충분한 신뢰도를 확보할 수 있으며, 이는 2,000단어의 개인정보 처리방침을 쓰는 것보다 더 강력한 사용자 신뢰를 구축하는 방법이 된다.

기능 구현을 위해 분산 시스템을 구축하는 관성에서 벗어나 데이터가 머물러야 할 곳에 모델을 배치하는 설계가 필요하다.