AI에게 내 대신 쇼핑몰에서 제일 싼 물건을 찾아달라고 시켰다고 생각해보자. AI는 열심히 버튼을 누르며 움직이지만, 갑자기 쇼핑몰 화면의 디자인이 조금만 바뀌면 당황해서 멈춰버린다. 우리는 왜 AI가 웹사이트의 작은 변화 하나에 이렇게 쉽게 무너지는지 궁금해진다.

Saffron Health가 공개한 Libretto의 작동 방식

Saffron Health(건강 관리 소프트웨어를 만드는 회사)가 Libretto(AI가 웹사이트를 자동으로 움직이게 돕는 도구)를 공개했다. 이 도구는 AI가 실제 브라우저를 보면서 CLI(글자를 입력해 컴퓨터에 명령을 내리는 창)를 통해 작업을 수행하게 한다. 예를 들어 링크드인 같은 곳에서 게시물 10개를 긁어오거나, 사람이 직접 하는 동작을 보고 Playwright(웹 브라우저를 자동으로 조종하는 프로그램) 코드로 만들어준다.

AI가 스스로 브라우저를 열고 로그인을 한 뒤 필요한 정보를 찾아내는 과정이 관찰된다. 사용자가 브라우저에서 어떤 행동을 하면 Libretto는 이를 읽어내어 나중에 똑같이 실행할 수 있는 규칙으로 바꾼다. 단순히 화면을 따라 하는 것이 아니라 어떤 순서로 움직여야 하는지 학습하는 구조다. Libretto는 AI가 웹사이트의 겉모습뿐만 아니라 내부 동작까지 이해하도록 돕는다.

화면 클릭보다 정확한 데이터 통로 분석

기존의 AI 자동화는 화면에 보이는 버튼의 위치나 이름에 의존했다. 하지만 웹사이트 디자인이 조금만 바뀌어도 AI는 버튼을 찾지 못해 에러를 낸다. Libretto는 여기서 한 걸음 더 나아가 네트워크 요청(웹사이트가 서버와 주고받는 비밀 메시지)을 분석한다.

겉으로 보이는 버튼을 누르는 대신 API(프로그램끼리 서로 정보를 주고받는 약속된 통로)를 직접 호출하는 방식으로 작업을 바꾼다. 이렇게 하면 화면 디자인이 바뀌어도 데이터가 오가는 통로는 그대로이기 때문에 훨씬 빠르고 정확하게 작동한다. 버튼의 색깔이나 위치가 바뀌어도 데이터가 흐르는 길은 변하지 않기 때문이다. AI가 단순한 흉내내기를 넘어 웹의 구조를 분석하기 시작한 것이다.

스스로 고치는 코드와 실무 적용

이 기술이 실제 코드에 적용되면 개발자가 일일이 버튼 주소를 입력할 필요가 없어진다. Libretto는 Selector(웹사이트에서 특정 버튼이나 글자가 어디 있는지 알려주는 주소)가 고장 났을 때 AI가 스스로 페이지를 검사해 올바른 주소로 고치게 한다. 사람이 일일이 코드를 수정하지 않아도 AI가 스스로 오류를 찾아내고 해결하는 자가 치유 능력을 갖추게 된다.

또한 보안 분석 기능을 통해 네트워크 요청 방식이 안전한지 미리 확인할 수 있다. 이는 AI가 웹사이트를 조작할 때 발생할 수 있는 보안 사고를 막아주는 안전장치가 된다. 결국 웹 자동화의 핵심은 화면을 보는 것이 아니라 데이터의 흐름을 잡는 것으로 이동한다.

AI는 이제 웹사이트의 껍데기가 아니라 알맹이를 읽는 법을 배우고 있다. 자동화 도구의 기준이 단순한 동작 반복에서 구조적 분석으로 바뀔 전망이다.