를 통해 주변 환경 및 화면 콘텐츠를 기반으로 검색과 작업

화면에 보이는 항목을 탭하거나 원으로 그리는 것만으로 정보를 찾고 작업을 수행한다. 비주얼 인텔리전스(Visual Intelligence)는 iPad, Mac, Apple Vision Pro에서 디지털 콘텐츠와 물리적 환경을 모두 인식한다. 스크린샷 내 특정 항목을 지정하면 Siri AI가 즉각 액션을 실행하며, 영수증을 인식해 비용을 분할 결제하거나 음식의 영양 정보를 확인하는 식이다. Apple Wallet 카드를 빠르게 호출하는 등 실생활 밀착형 작업이 화면 인식 기반으로 처리된다.

기본 앱의 인터페이스도 AI 중심으로 재편된다. Safari는 열려 있는 수많은 탭을 주제별로 자동 그룹화해 탐색 경로를 줄인다. 특정 웹 페이지의 변경 사항을 모니터링해 알리는 Notify Me 기능이 추가되어 정보 수집 효율을 높였다. Home 앱에서는 HomeKit Secure Video 영상을 AI가 분석해 구체적으로 설명하며, 사용자는 영상 재생 전 사건 내용을 확인하고 필요한 클립만 정확하게 검색해 찾아낼 수 있다.

확인해야 할 핵심 지점

Apple Intelligence는 이번 가을 출시되며, Siri AI는 올해 말 영어로 먼저 제공된다. 별도의 프롬프트 창 없이 개별 앱에 직접 통합되어 작동하는 것이 특징이다. 사용자의 상황과 맥락을 이해하는 컨텍스트 기반 방식을 채택했으며, 모든 데이터 처리 단계에 프라이버시 보호 설계를 적용했다. OS 수준에서 AI가 앱 내부로 스며들어 사용자의 의도를 즉각 수행하는 지능형 비서 환경을 구축한다.

시스템 전반에서 텍스트 초안 생성과 피드백 작업이 이뤄진다. Messages와 Mail 앱에서는 사용자의 고유한 글쓰기 스타일, 구두점, 톤을 AI가 분석해 그대로 맞춘다. 모든 입력 지점에서 문법과 맞춤법을 자동으로 확인하고 수정 제안을 제공하는 편집 도구 역할도 수행한다. 작성자와 수신자의 관계에 따라 톤을 조절하는 기능은 비즈니스 커뮤니케이션의 수고를 덜고 최적의 표현을 선택하는 방식으로 작업 흐름을 바꾼다.

대화형 AI 어시스턴트로 확장되어 자연스러운 상호작용과 정보

Siri AI는 개방형 질문에 답하고 프로젝트 아이디어를 브레인스토밍하는 대화형 어시스턴트로 진화했다. 온라인 정보를 실시간 참조해 최신 인사이트를 제공하며, 사진, 이메일, 메모 등 개인 데이터에서 관련 답변을 정확히 찾아낸다. 사용자가 여러 앱을 오가며 정보를 취합하던 물리적 시간을 AI의 컨텍스트 이해 능력으로 대체한 결과다.

사진 편집의 물리적 제약도 소프트웨어로 극복한다. Spatial Reframing 도구는 촬영 후에도 시점과 각도를 조정하거나 줌인하여 카메라 위치를 다시 잡은 효과를 낸다. Extend 도구는 사진 외곽 범위를 확장해 더 넓은 구도를 만들고, Clean Up 도구는 사진 속 불필요한 개체들을 정교하게 제거한다. 완벽한 한 컷을 위해 쏟던 노력을 사후 편집 영역으로 옮겨 효율을 높였다.

이러한 변화는 기기 상호작용의 중심을 텍스트 기반 검색에서 대화형 탐색으로, 정적 캡처에서 동적 재구성으로 이동시킨다. 기술이 사용자의 의도를 정교하게 해석해 불필요한 반복 작업과 시행착오를 제거하는 구조다.

비주얼 인텔리전스는 온디바이스 모델과 Private Cloud Compute가 결합한 하이브리드 구조를 통해 앱 내 액션을 직접 수행한다. 이제 서비스 제공자의 판단 기준은 App Intents API를 활용해 자사 기능의 어떤 부분을 Siri AI의 실행 가능 액션으로 정의할 것인가에 있다. AI 인터페이스의 경쟁력은 결국 API로 정의된 기능의 정교함에서 결정된다.