2025년 1분기 도입된 야후 DSP의 검색 리타겟팅(SRT) 변화

기존 LSH(유사한 데이터를 빠르게 찾는 해싱 기술) 방식에서는 확장 키워드가 0개로 검색되지 않던 사례가 LLM 도입 후 수백에서 수천 개로 늘어났다. 검색 의도를 기반으로 사용자를 찾는 광고주에게는 타겟팅 도달 범위가 완전히 달라지는 결과다. 이는 단순한 수치 증가를 넘어 검색어의 의미적 맥락을 파악해 잠재 고객을 발굴하는 능력이 확보되었음을 의미한다.

야후는 2025년 1분기 프로덕션 환경에 검색 리타겟팅(SRT, 사용자의 과거 검색 행동을 기반으로 광고를 노출하는 솔루션) 기능을 업데이트했다. 대상 서비스인 Yahoo DSP(광고주가 여러 채널의 광고 인벤토리를 구매하는 플랫폼)는 프리미엄 공급망 접근 권한과 방대한 규모, 신뢰 기반의 소비자 관계를 제공하며 광고주가 정의한 규칙과 머신러닝, 생성형 AI를 결합해 정교한 오디언스 타겟팅을 수행한다. SRT는 야후 검색뿐 아니라 통합 파트너 시스템 전반에서 발생하는 검색 활동을 분석해 사용자의 의도를 파악한다. 이렇게 분석한 검색 의도를 디스플레이, 비디오, 네이티브 광고와 연결함으로써 광고주가 더 정밀하게 타겟 유저에게 접근하도록 돕는다.

야후는 인프라 구축과 관리 부담을 없애기 위해 Amazon Bedrock(클라우드 기반 파운데이션 모델 제공 서비스)을 활용했다. 서버리스(서버 관리 없이 사용한 만큼 비용을 내는 방식) 구조를 통해 복잡한 인프라를 직접 설계하거나 관리하지 않고도 선도적인 파운데이션 모델들을 즉시 실험할 수 있었다. 이러한 환경 덕분에 야후 팀은 모델 선정 과정에서 발생하는 운영 오버헤드를 완전히 제거했다. 결과적으로 신속한 모델 실험과 워크로드 확장, 그리고 유연한 배포가 가능한 체계를 구축하여 개발 속도를 높였다.

모델 선정과 평가 단계에서는 Amazon SageMaker Studio를 통해 Amazon Titan, Meta Llama, Anthropic Claude 등 여러 모델의 성능을 프로토타이핑했다. 야후는 Amazon Nova와 Meta Llama를 포함한 다양한 모델을 대조하며 검색 키워드 확장에 최적화된 성능을 검증하는 과정을 거쳤다. 최종적으로 키워드 확장 비율과 의미적 유사성의 균형이 가장 뛰어난 Anthropic의 Claude 3.5 Sonnet v2를 최종 모델로 선정했다. 이 모델은 검색 키워드를 확장하면서도 원래의 의미를 잃지 않는 최적의 성능을 보여주며 기존 레거시 방식의 한계를 극복했다.

환각 제어를 위한 '생성-검증' 2단계 파이프라인

Claude 3.5 Sonnet v2는 입력받은 시드 키워드를 기반으로 관련 키워드를 확장 생성하지만, 모델의 특성상 원문과 무관한 단어가 섞이는 환각 현상이 발생한다. 이를 제어하기 위해 단순 생성이 아닌 검증 단계가 포함된 2단계 파이프라인을 구축했다. 첫 번째 단계에서는 광고주가 설정한 시드 키워드를 모델에 입력하여 의미적으로 연관된 키워드 집합을 대량으로 생성하는 과정을 거친다. LLM이 생성한 결과물은 기존의 단순 매칭 방식보다 양적으로 훨씬 풍부한 확장성을 보여주지만, 기술적 필터링 없이는 광고 타겟팅의 정밀도를 떨어뜨릴 수 있는 불필요한 단어들이 포함될 가능성이 매우 크다.

생성된 키워드들은 임베딩(단어를 수치 벡터로 변환하는 기술) 과정을 거쳐 고차원 공간의 좌표값으로 변환된다. 이 과정은 단어의 단순한 철자가 아니라 그 안에 담긴 의미를 수치화하여 공간에 배치하는 작업이다. 이렇게 변환된 벡터는 원본 키워드 세트가 가진 벡터와 코사인 유사도(두 벡터 간의 각도로 유사성을 측정하는 지표)를 통해 직접 비교된다. 코사인 유사도는 두 벡터 사이의 각도가 작을수록 1에 가까운 값을 가지며, 이는 두 단어의 의미적 거리가 가깝다는 것을 수학적으로 증명한다. 시스템은 미리 설정된 유사도 임계치 미만의 값을 가진 키워드를 필터링하여 제거함으로써, LLM이 임의로 생성한 엉뚱한 단어들이 최종 결과에 포함되는 것을 원천적으로 방지한다.

유사도 측정 이후에는 별도의 민감어 필터링 단계를 추가로 수행하여 광고 정책에 위배되거나 부적절한 단어를 한 번 더 걸러내는 작업을 진행한다. 이 모든 생성과 검증의 루프는 Amazon SageMaker Studio(머신러닝 모델 구축 및 배포를 위한 통합 개발 환경) 내에서 프로토타이핑과 평가 과정을 거쳐 최적화되었다. 개발진은 SageMaker Studio를 활용해 생성된 키워드 세트의 품질을 수치적으로 측정하고, 필터링 임계치 변화에 따른 정밀도와 재현율의 상관관계를 분석하여 최적의 기준점을 도출했다. 이러한 검증 루프는 LLM의 창의적인 생성 능력과 임베딩의 수학적 엄밀함을 결합해 환각 현상을 기술적으로 차단하는 안전장치로 작동하며, 결과적으로 데이터의 신뢰성을 확보한다.

기존 방식과 달라진 지점

중앙값 기준 키워드 확장 비율이 기존 방식보다 5배 향상되었으며 최대 확장 비율은 2배 더 높아졌다. 이전 시스템은 단어 간 유사도를 학습하는 모델인 Word2Vec과 유사한 데이터를 빠르게 찾는 해싱 기술인 LSH(locality-sensitive hashing)를 조합해 사용했다. 통계적 유사성에 의존하는 이 방식은 단어의 표면적 관계는 찾을 수 있지만 세밀한 의미 맥락을 포착하는 데 한계가 있었다. 특히 검색 빈도가 낮은 희귀 키워드의 경우 LSH가 관련 키워드를 단 하나도 찾지 못한 사례가 빈번했으나, LLM 기반 방식은 동일한 조건에서 수백에서 수천 개의 관련 키워드를 생성하며 도달 범위를 넓혔다.

기존의 SRT(Search Retargeting) 아키텍처는 키워드 정규화, 임베딩 생성, 인덱싱, LSH 검색, 민감어 필터링, 결과 랭킹이라는 다단계 공정을 거쳤다. 광고주가 SQL 데이터베이스에 정의한 타겟 키워드 메타데이터를 기반으로 이 과정이 수행되었다. 먼저 키워드를 표준 형태로 변환하는 정규화 단계를 거친 뒤, Word2Vec을 통해 단어를 수치 벡터로 변환하고 이를 인덱싱하여 LSH로 유사 키워드를 검색했다. 하지만 이 방식은 고정된 통계 값에 기반해 거리를 측정하므로 유연한 의미 확장이 어려웠다. LLM은 단어의 통계적 분포가 아니라 문맥적 의미를 직접 이해하므로 기존 방식이 놓친 세밀한 연관성을 찾아낸다. 결과적으로 특정 관심사나 인구통계학적 특성, 행동 패턴을 공유하는 사용자 집단인 오디언스 세그먼트를 더 정교하게 구성할 수 있게 되었다.

시스템의 처리량인 Throughput은 기존 대비 10배 증가했다. 이는 단순히 처리 속도가 빨라진 것을 넘어 단위 시간당 처리 가능한 키워드 확장 규모가 비약적으로 커졌음을 의미한다. 이렇게 생성된 원본 키워드와 확장 키워드 세트는 분산 검색 및 분석 엔진인 Amazon OpenSearch Service 클러스터에 저장되어 관리된다. 저장된 데이터는 이후 사용자의 검색 이력을 분석해 해당 사용자가 특정 광고 타겟 세그먼트에 속하는지 판별하는 배치 스코어링 워크플로우의 핵심 참조 데이터로 사용된다. 오디언스 세그먼트는 최종적으로 타겟팅 시스템으로 전달되어 사용자가 가장 관련성 높은 광고 캠페인과 매칭되도록 돕는다. 통계적 매칭에서 의미론적 확장으로 전환하며 인프라의 효율성과 데이터의 질을 동시에 확보했다.

광고주 도달 범위 확대와 운영 유연성 확보

LLM 기반 키워드 확장은 검색 사용자의 의도와 밀접하게 일치하는 광고를 노출한다. 생성형 AI가 키워드 후보군을 넓히는 동시에 품질 필터링을 수행하여 검색어의 의미적 관련성을 확보하기 때문이다. 광고주가 설정한 시드 키워드에서 파생된 확장 키워드들이 실제 사용자의 검색 맥락과 정확히 맞물리면 광고의 관련성이 높아진다. 사용자가 입력한 검색어의 표면적인 단어 일치를 넘어 숨은 의도까지 파악해 광고를 매칭하므로, 광고 클릭 후 실제 구매나 가입으로 이어지는 전환율(Conversion Rate, 사용자가 광고를 클릭해 특정 행동을 완료하는 비율)이 개선된다. 정교해진 타겟팅은 광고주가 불필요한 노출에 지불하는 비용을 줄이고 실제 성과가 나는 지점에 예산을 집중하게 만든다.

인프라 운영 측면에서는 서버리스(Serverless, 서버의 물리적 관리 없이 사용한 컴퓨팅 자원만큼 비용을 지불하는 방식) 구조를 채택해 관리 오버헤드를 제거했다. 기존의 서버 기반 환경에서는 트래픽 변동에 따라 서버 자원을 수동으로 할당하거나 인스턴스를 확장하는 작업이 필수적이었다. 서버리스 환경에서는 모델 추론에 필요한 컴퓨팅 자원이 요청량에 따라 자동으로 조절되므로, 엔지니어가 OS 업데이트나 서버 패치, 용량 계획 수립과 같은 인프라 유지보수에 쏟는 시간을 없앴다. 이는 개발 팀이 인프라 관리라는 물리적 제약에서 벗어나 모델의 성능 최적화와 로직 개선이라는 본질적인 엔지니어링 작업에 집중할 수 있는 환경을 제공한다.

이러한 구조는 새로운 모델을 신속하게 실험하고 워크로드(Workload, 시스템이 처리해야 할 작업량)를 유연하게 확장하는 기반이 된다. 광고 시장의 트렌드나 사용자 검색 패턴이 급격히 변할 때, 인프라의 물리적 재설계 없이 모델 파라미터나 프롬프트 설정 변경만으로 즉각 대응할 수 있다. 특히 대규모 키워드 확장 작업이 일시적으로 집중되는 피크 타임에도 자원을 즉각적으로 확장해 처리 지연을 방지하고 일관된 응답 속도를 유지한다. 결과적으로 알고리즘을 통해 실시간으로 광고 인벤토리를 구매하는 프로그래매틱(Programmatic) 환경에서 기술적 민첩성을 확보했으며, 이는 광고주에게 더 넓은 도달 범위와 정밀한 타겟팅이라는 실질적인 가치로 전달된다.

한국 AI 실무자를 위한 LLM 기반 키워드 확장 적용 기준

LLM(대규모 언어 모델)이 생성한 키워드 풀의 크기가 기존 방식 대비 중앙값 기준 5배 증가하더라도, 실제 캠페인 적용 시에는 반드시 환각(모델이 사실과 다른 정보를 생성하는 현상)을 제어하는 검증 파이프라인이 선행되어야 한다. 단순 생성 모델을 도입할 경우 모델이 생성한 키워드가 광고주의 타겟 의도에서 벗어나는 이탈 위험이 존재하기 때문이다. 이를 방지하기 위해 실무자는 LLM 생성, 임베딩 유사도 검증, 정책 필터링으로 이어지는 3단계 가드레일 파이프라인을 구축해야 한다.

구현 과정에서 LLM이 생성한 확장 키워드는 즉시 광고 시스템에 투입되지 않고 임베딩(단어를 수치 벡터로 변환하는 기술)으로 변환된다. 이후 원본 키워드 세트와 생성된 키워드 간의 코사인 유사도(두 벡터 간의 각도로 유사성을 측정하는 지표)를 계산하여 설정된 임계치 미만의 키워드를 제거하는 필터링 과정을 거친다. 이 단계는 생성형 AI의 창의적인 확장성을 유지하면서도 광고 품질과 브랜드 안전성을 보장하는 핵심적인 기술적 제약 조건이다.

모델 선택 시에는 확장 비율과 의미적 유사성 사이의 균형점인 트레이드오프를 기준으로 벤치마크를 수행해야 한다. 특정 모델이 생성하는 키워드의 양이 많더라도 임베딩 유사도 검증 단계에서 대다수의 키워드가 필터링된다면 실질적인 도달 범위 확대 효과는 제한적이다. 따라서 실무자는 확장된 키워드 풀의 크기 증가가 실제 캠페인 전환율 상승으로 이어지는지 상관관계를 지속적으로 관찰하며 임계치를 최적화해야 한다.

최종적으로 민감어 필터링까지 결합된 파이프라인은 생성형 AI의 유연함과 기존 검색 광고의 정밀함을 동시에 확보한다. LLM의 창의성을 실무에 적용하려면 반드시 수치 기반의 검증 가드레일을 결합해야 한다.