ATT 사태 이후 iOS 광고 효율성 최대 75% 하락: 개인정보보호 시대에 DSP는 AI를 활용해 광고 타겟팅 및 최적화를 어떻게 실현하는가

iOS 광고 효율을 가정하면ATT 거의 제한 없는 IDFA 접근은 1이었습니다. 이제 앱 추적 투명성 이후, 그리고 SKAdNetwork? 이는 최근 Persona.ly’s Joseph Iris. Persona.ly는 수요 측 플랫폼 으로, 머신러닝과 AI에 집중해 수익성 높은 광고 기회를 찾으며, 주로 사용자 획득 와 재참여. 그리고 초당 300만 건의 쿼리로 대규모 운영합니다.

우리의 주요 주제: 개인 정보 신호 감소 시대에 DSP가 작동하는 방식. 

하지만 ATT 이후의 상대적인 iOS 광고 효율성 변화는 풀기 어려운 퍼즐이었고, 여러 모바일 전문가에게 물어봐도 간단한 답을 얻을 수 없었습니다. 물론 제가 의미하는 바는 다음과 같습니다. 애드테크 생태계가 어떻게 하면 올바른 사람에게 올바른 시기에 올바른 컨텍스트로 광고를 타겟팅하여 행동을 유도할 수 있는가?

아이리스는 도전에 응했습니다.

ATT 하에서의 iOS 광고 효율성 감소

아이리스에 따르면 상당한 효율성 감소가 있었습니다.

하지만 중요한 주의 사항이 있습니다.

“순수한 수치로 보면 이전의 25% 정도 효율성을 보입니다. 하지만 가격은 그보다 더 많이 감소했습니다. 다시 말해, 이러한 균형은 더 똑똑한 구매자에게 기회가 있음을 증명합니다.”

광고 환경이 훨씬 저렴하지만 올바른 제안을 적절한 시기에 적절한 사용자와 연결하는 데 효율성이 25%에 불과하다면 프라이버시를 제외한 모든 면에서 훨씬 더 나쁜 광고 환경이 될 것이기 때문에 이는 매우 흥미롭습니다. 광고가 더 저렴해서 더 많은 광고를 보게 될 것이고, 마케터들은 동일한 결과를 얻기 위해 더 많은 광고를 게재해야 합니다. 그리고 여러분이 보는 광고는 관련성이 떨어질 것입니다. 왜냐하면 마케터들이 여러분에 대해 덜 알고 있어 타겟팅을 잘 할 수 없기 때문입니다.

Iris는 캐주얼 게임에 대해 구체적으로 언급했으며 다른 요인들이 작용하고 있으므로 이 백분율을 일반적인 지침으로 삼지 마십시오. 유명 브랜드에서 출시되어 광범위한 사용자층의 관심을 끄는 매우 인기 있는 앱은 영향이 적을 가능성이 높습니다. 반면 특정 틈새 시장에 국한되어 소수의 활성 사용자에게만 수익을 창출하며 큰 브랜드가 아닌 앱은 더 큰 영향을 받을 수 있습니다.

좋은 소식: SKAN 4 더 많은 마케팅 신호를 제공합니다. 나쁜 소식: SKAdNetwork와 App Tracking Transparency는 여전히 제공하지 않습니다 Google의 Privacy Sandbox, 여기에는 타겟팅을 위한 프라이버시‑안전 온‑디바이스 메커니즘이 있습니다. 완벽하지는 않지만 — 개선되고 있습니다 — 최소한 컨텍스트를 넘어 마케터에게 무언가를 제공합니다, 그리고 초기 광고 효율 감소에 대한 대략적인 추정 는 10-20% 범위에 있습니다.

DSP가 광고를 타겟팅하는 데 사용하는 신호

그렇다면 DSP는 이렇게 어려운 환경에서 어떻게 대처할까요? Iris는 모든 신호를 사용하고 어제의 데이터를 매우 정확하게 기억하고 이를 오늘에 적용함으로써 가능하다고 말합니다.

신호에는 다음과 같은 것들이 있습니다

• 시간
• 날짜
• 주요 지역/글로벌 이벤트 (예: 슈퍼볼)
• 세션 신호 (세션 길이 포함)
• IP
• ISP (아마도 IP에서 파생됨)
• 기기 유형(Android에서 특히 중요한 이유는 더 다양한 기기들이 존재합니다)
  • 픽셀 밀도
  • CPU 코어
  • RAM
• 앱 설명 (믿거나 말거나 계속 읽어주세요!)
• 사용 가능한 기기 식별자
• 그리고 가능한 한 다른 모든 것 (예를 들어 Android에서 iOS보다 더 많은 정보를 얻을 수 있습니다)

광고 기술 기업들이 적용하는 머신 러닝의 핵심은 그렇게 복잡하지 않으며 과대평가되어서는 안 됩니다. 본질적으로 과거의 기억을 미래 사건의 가능성으로 적용하는 것입니다.

"우리가 효과적으로 하려는 것은 어제를 매우 정확하게 높은 규모로 기억하는 것입니다."라고 Iris는 말합니다. "머신 러닝 기반 예측의 가정은 현실이 어제와 크게 다르지 않다는 것입니다."

컨텍스트를 위한 앱 스토어 설명 (앱 카테고리보다 훨씬 신뢰할 수 있음)

주요 요인 중 하나는 앱 스토어 설명입니다. 믿거나 말거나 이것이 Personal.ly의 주요 컨텍스트 소스입니다. 주로 앱 내 컨텍스트는 웹상의 콘텐츠와 매우 다르기 때문입니다. 웹페이지의 콘텐츠는 크롤링되고 소비되며 분류될 수 있지만 앱 내 컨텍스트는 다릅니다.

ASO 전문가들은 큰 개가 될 수 있는 범주로 이동하는 기술을 완성했습니다. 그래서 범주는 컨텍스트 타겟팅 목적으로 거의 쓸모가 없습니다.

“우리가 운이 좋은 점 한 가지는 앱 스토어 페이지를 구축할 때 설명이 앱 내부의 내용을 반영해야 한다는 것입니다. 그렇지 않으면 사용자들이 매우 빠르게 불만을 느끼게 됩니다.” Iris는 말합니다. “그래서 ASO에 의한 영향을 받지 않기 위해 우리는 스토어 설명 자체를 사용합니다.”

앱 스토어 및 구글 플레이 설명은 앱의 기능과 특징을 정확하게 설명해야 하므로 DSP는 모든 설명을 수집하고 맥락적 관련성을 분석합니다. 최종 결과는 어떤 앱이 서로 맥락적으로 관련되어 있는지, 그리고 어떤 앱(광고를 하는)이 유사하거나 관련된 앱의 사용자에게 매력적일 수 있는지에 대한 매핑입니다. 이는 단순하게 들릴 수 있지만, DSP가 하이킹 트레일 앱의 광고가 반드시 하이킹 관련 앱뿐만 아니라 숙박, 음식, 지도, 관심 지점, 신발이나 부츠, 캠핑 장비 등 다양한 계산된 맥락적 근접성을 가진 앱일 수 있음을 알 수 있도록 하는 다양한 비선형 연결이 존재합니다.

유니콘 크리에이티브와 테스트 비용: 10%

크리에이티브 및 오퍼 최적화에 관한 마케터들의 공통된 질문: 입증된 광고에 얼마만큼의 예산을 투입해야 하며, 새로운 히어로를 찾기 위한 테스트에는 얼마만큼의 예산을 투입해야 하는가?

Personal.ly의 경우 전체 예산의 약 10% 정도를 테스트에 사용합니다.

“시간이 지남에 따라 챔피언 또는 다수의 챔피언이 통계적으로 더 유의미해지면 더 많은 비중을 차지하게 됩니다.” Iris는 말합니다. “그들은 트래픽의 최대 85% 또는 90%를 차지하게 됩니다. 그리고 나머지 10%는 새로운 챔피언이 등장할 가능성을 탐색하기 위해 남아 있습니다.”

유니콘 크리에이티브에 대해 마케터와 종종 이야기합니다. 어떤 이유로 월별, 분기별로 계속 성과를 내는 광고 말입니다. 좋은 상황입니다. 훌륭한 광고 단위가 계속 성과를 내며 사실상 돈을 찍어내니까요. 하지만 동시에 매우 좌절스러운 상황이기도 합니다. 더 나은 광고로 해당 광고를 이길 수 없기 때문입니다.

아이리스도 같은 현상을 확인했습니다

"어떤 경우에는 소셜 카지노 앱이 1년 동안 동일한 챔피언을 유지하기도 합니다. 그냥 그런 경우가 있습니다. 여러 요소가 잘 맞아떨어지면 성과가 잘 나오고, 유저들이 설치하도록 유도할 수 있습니다. 그러면 챔피언의 목록이 크게 바뀌지 않는 경우도 있습니다."

CTR과 CVR, 메트릭스의 대결 

클릭률과 전환율 사이에 이상한 역의 관계가 있다는 것을 대부분의 모바일 마케터가 가끔씩은 눈치채고 있다고 아이리스는 말한다. 높은 클릭률은 낮은 전환율과 같다.

항상 그런 것은 아니지만 자주 그러하다.

"예측은 항상 서로 정반대야" 라고 아이리스는 말한다. "사용자가 클릭하거나 설치할 확률이 높으면 대부분의 경우 높은 가치를 가진 사용자가 될 확률은 낮거든. 모든 확률이 높은 천문학적인 행운이 겹치는 것은 매우 드물지."

별이 정렬되는 것은 물론 멋진 일이야. 하지만 존경받는 광고 네트워크와 공급측 플랫폼에서 고품질 트래픽을 구매하는 경우에도 이런 일은 드물어. 

특히 낮은 CPI에 최적화하려고 할 때는 더욱 그래.

그래서 똑똑한 마케터들은 CTR에 주목하지만 너무 많은 비중을 두지는 않습니다. 핵심 지표는 클릭 대비 설치 비율인 CTI입니다. 이는 SKAdNetwork 기여 분석 시대의 iOS에서 더 어려운 과제이지만 여전히 사용 가능하다고 Iris는 말합니다.

더 많은 내용을 보려면 시청, 구독, 청취하세요

우리 대화에는 훨씬 더 깊이가 있습니다. 위의 영상을 시청하고 우리 YouTube 채널을 구독하세요. 

또한 우리의 Growth Masterminds 팟캐스트를 구독하세요 당신이 선호하는 플랫폼에서 성장, 마케팅, 광고 기술 분야의 전문가들과의 오디오 인터뷰를 들을 수 있습니다

더 보기 … 우리의 대화 전체 내용

조셉 아이리스와 나눈 대화의 전체 대본입니다. 조셉 아이리스는 퍼소나리에서 머신러닝을 이끌고 있습니다.

대부분 기계로 생성되었기 때문에 오류가 포함될 수 있습니다.

존 쿠치어:

디맨드 사이드 플랫폼이 입찰가를 높이기 위해 머신러닝을 활용할 때 실제로 어떤 일이 발생하나요? 

성장 마스터마인드에 오신 것을 환영합니다. 제 이름은 존 쿠치어입니다. 

물론 모바일 광고에서 머신러닝을 사용하고 입찰을 주도하는 것은 매우 흥미롭습니다. 이전보다 의사 결정을 내릴 데이터가 적습니다. 사용 가능한 모든 데이터를 최대한 활용하는 것이 점점 더 중요해집니다. 그렇다면 DSP는 어떻게 이를 수행할까요? 

여기 있는 조셉 아이리스와 대화를 나눠보겠습니다. 그는 퍼소나리에서 ML 제품의 디렉터입니다. 환영합니다, 조셉.

조셉 아이리스:

존님, 반갑습니다.

존 쿠치어:

당연히 만나서 반갑습니다. 

신호부터 시작해 보겠습니다. 어떤 신호가 입찰을 위한 기계 학습에 영향을 미칩니까?

조셉 아이리스:

그래서 그것은 모두 교환의 요청에서 우리가 얻는 것으로 시작합니다. 분명히 최근 iOS와 프라이버시로 인해 모든 것이 변경되면서 장치 ID가 가장 큰 요소였습니다. 

그러나 시간이 지남에 따라 더 프라이버시 지향적인 생태계로 이동함에 따라 해당 신호는 점점 덜 중요해지고 더 이상 실제로 의존 할 수 없습니다. 

그 외에도 사용자의 연결에 관한 신호, 즉 어떤 ISP에서 접속했는지와 같은 정보를 얻을 수 있습니다. 이러한 정보는 사용자와의 실제 광고 상호작용과는 직접 관련이 없어 보이지만 때로는 유용할 때도 있습니다. 각 교환에서 추가적인 맥락 신호를 얻을 수 있습니다. 

과거에는 배터리 잔량까지도 포함하곤 했지만 이제는 그런 정보는 제공되지 않습니다. 기본적으로 사용자의 마인드셋을 파악하기 위한 추가적인 정보를 제공하려고 합니다. 다만 각 교환마다 다른 정보를 제공하기 때문에 정보가 통일되지 않는다는 문제가 있습니다. 

의존할 수 있는 항목에 대해 퍼블리셔가 의미하는 바에 대한 특징을 머신러닝을 통해 생성할 수 있습니다. 이는 앱 홍보와 관련된 내용과 연결됩니다. 이전 성과에 대한 내용을 토대로 많은 것을 배울 수 있습니다. 

디바이스 강화가 중요한 역할을 합니다. iOS의 경우 제한된 디바이스 목록을 보유하고 있어 크게 중요하지 않지만 안드로이드 플랫폼의 경우 매우 다양한 디바이스가 존재합니다. 다양한 공급 업체와 모델이 존재합니다. 시간이 지남에 따라 고급폰과 기능폰을 쉽게 구분할 수 있게 되었지만 제조 비용이 감소하고 비브랜드 폰이 강세를 보이면서 점차 어려워지고 있습니다. 

기기 강화 기능을 사용하면 기기 UA 스트림(이는 누구의 신원과도 분명히 연결되지 않으므로 계속 유지됩니다.)을 가져와서 픽셀 밀도, 코어 수, RAM 등으로 강화하여 기기의 프로필을 생성할 수 있습니다. 이렇게 하면 서로 다른 기기 세그먼트를 생성하여 고가치 사용자를 구분하고 맥락과 연결할 수 있습니다. 

이 외에도 교환에서 오는 세션 신호가 있습니다. 교환은 사용자가 세션 내에서 어디에 위치하는지 알고 있기 때문에 클릭, 설치 등의 확률에 대한 정보를 제공합니다

존 쿠치어:

세션이라고 할 때, 특정 앱에 사용자가 얼마나 오래 머물렀는지 또는 얼마나 활동적인지에 대해 얘기하는 건가요?

조셉 아이리스:

일부 광고 거래소는 여러 앱에 걸쳐 이를 수행하려고 하지만, 앞으로는 현재의 게시자에게만 해당할 것이며, 있는 그대로입니다.

존 쿠치어:

정확히.

조셉 아이리스:

우리의 사용 사례에 대한 기계 학습 사용의 톤을 설정하고 싶습니다. 맞죠? 

왜냐하면... 마케터와 과거의 나는 실제로 뭔가를 하기 위해 사용하는 모든 도구를 지나치게 미화하는 경향이 있기 때문입니다. 그리고 머신러닝을 사용하면 마치 미래에서 온 것 같은 느낌을 주기 때문에 쉽게 느껴집니다. 특히 ChatGPT 등을 둘러싼 모든 이슈와 함께 말입니다. 

And a layperson, not necessarily a layperson, even technical people using this tool would be amazed by its capabilities. The way I like to describe it to prospects and people that don’t really understand the industry, like my wife, no offense, but obviously she’s not really connected, she’s a dog trainer, you know. 

큰 격차가 있습니다. 그래서 우리가 효과적으로 하려는 것은 어제를 매우 정확하게 높은 규모로 기억하는 것입니다. 따라서 기계 학습 기반 예측의 가정은 현실이 어제와 극적으로 변하지 않았다는 것입니다. 그리고 적어도 우리의 사용 사례에 관해서는 기본 수학과 같은 측면에서 큰 돌파구가 없었습니다. 이 모든 것을 계산하고 이제 트레이닝을 훨씬 더 빠르게 확장할 수 있으며 클라우드 또는 사용하는 인프라에서 대규모 디바이스 클러스터를 설정하는 것이 클릭 한 번으로 가능합니다. 이는 모두 대부분의 사람들이 통계에 대해 알고 있는 것과 동일한 개념입니다. 

이렇게 하면 논의하는 것 자체에 대한 진입 장벽이 확실히 낮아집니다. 그렇게 프레임을 잡으면 더 이상 이해할 수 없는 마법의 블랙박스가 아니기 때문입니다. 기본적으로 어제를 기억하려고 하는 도구일 뿐이며 훨씬 더 실용적이고 현실적입니다.

존 쿠치어:

교환을 통해 얻는 데이터에 국한되지 않는 컨텍스트 데이터나 기타 데이터 등 다른 데이터를 사용하는지 궁금합니다. 하루 중 시간이나 계절성 등 다양한 요인이 있을 수 있습니다. 또한 언급하신 대로 오늘은 어제와 거의 동일하다는 가정을 하고 있습니다. 

만약 오늘이 슈퍼볼 경기일 경우 어제와는 다르지 않습니까? 그렇다면 그런 요소들을 입력하고 있습니까?

조셉 아이리스:

그러니까, 정말 극적인 이벤트가 발생해서 모든 것이 변하는 상황을 고려해야 합니다. 이를 위한 기능이 있습니다. 데이터를 강화하여 오늘날 특정 시장에서의 휴일 또는 극적인 이벤트 여부를 파악하고, 이를 통해 기대치를 설정할 수 있습니다. 

하지만 이러한 변화에 빠르게 적응할 수 있는 현실적인 방법은 매일 또는 매시간 데이터를 재학습시키는 대신 점진적으로 학습시키는 것입니다. 기본적으로 학습을 스트리밍 방식으로 진행하며, 그렇게 운영하고 있습니다. 따라서 현실이 변하기 시작하면, COVID 초기처럼 모든 것이 변하는 상황을 상상해 보십시오

당신의 파이프라인이 적응 가능하고 최신 트렌드가 더 중요하다는 것을 이해하며, 더 최근 샘플에 적용하는 가중치로 항상 수행되는 한, 당신은 거의 괜찮습니다. 

하지만 네, 이 외에도 우리가 컨텍스트와 함께 하는 많은 일들은 미래의 관심 그룹을 준비하는 것에서 비롯됩니다. 구글에서 프라이버시 클라우드 계획에서 부르는 것과 같은 방식으로, 카테고리의 세그먼트와 관련된 참여를 기반으로 코호트를 생성하는 것입니다. 스토어 카테고리가 거짓으로 가득 차 있기 때문에 카테고리라고 부를 수 없으며, 정말 원하는 경우 자신만의 카테고리를 생성해야 합니다

존 쿠치어:

정말 거짓말로 가득 차 있어요.

조셉 아이리스:

네, ASO 담당자들이 그렇죠. 전 팬이에요. 물론이죠. 하지만 그건 제 일을 더 어렵게 만들어요. 이겨내야죠.

존 쿠치어:

저는 팬이 아니에요. 확실히 팬이 아니죠. 마치... 어, 어디있지? 애플이나 구글 같은 독재자가 말하길, 이건 니 카테고리고 니 카테고리에 그대로 머물러. 항상 새로운 카테고리를 선택하는 사람들 같아요.

조셉 아이리스:

우리에게 행운인 건 앱 스토어를 구축할 때, 설명이 앱 안의 내용을 반영해야 한다는 거예요. 안 그러면 사용자들이 매우 금방 실망할 테니까요. 가짜 광고가 있던 시절이 기억나시죠?.

존 쿠치어:

네.

조셉 아이리스:

결국엔 잘 끝나지 않죠, 그렇죠?

존 쿠치어:

그 시절은 끝난 건가요? 확실히 끝났다고 말하기 어렵습니다.

조셉 아이리스:

어느 정도, 어느 정도, 어느 정도, 어느 정도요. 완전히 끝난 건 아니지만, 완전히 끝난 건 아니에요. 몇 개월 동안은 모든 것이 그랬으니까요. 

그래서 ASO에 영향을 받지 않기 위해 스토어 설명 자체를 사용합니다. 그리고 실제로 우리가 내부 작동 방식을 반드시 이해하지 못하는 강력한 모델을 사용하여 컨텍스트를 이해할 수 있는 곳입니다. 그래서 몇 년 전, 이것을 모르고 시간이 얼마나 빨리 지나가는지, 3년 전이었던 것 같아요. 전체 검색 대화가 시작되었을 때, 우리는 '좋아, 이제 사용자는 더 이상 존재하지 않는 현실에 적응할 때다'라는 것을 이해했습니다.

[우리는] 스토어 디스크립터를 사용하는 솔루션 중심의 접근 방식을 만들었는데, 그 이유는 '좋아요, 의미가 없는 것으로 바꾸지 마세요'라고 말했기 때문입니다. 항상 여러분이 제공하는 기능, 테마, 그리고 여러분을 차별화하는 요소를 고려해야 합니다. 

머신러닝에서 가장 중요한 것 중 하나는 이 문장입니다. 생각해 보면 놀랍습니다. '쓰레기가 들어가면 쓰레기가 나온다'입니다. 모델에 잘못된 데이터를 입력하면 완전히 쓸모없는 결과를 얻게 됩니다. 기술은 모두 이미 확립되어 있습니다. 전에 말했듯이 정말 획기적인 일은 일어나지 않습니다. 단지 더 빠르게 계산하고 더 정확해질 뿐입니다. 그러나 개념은 동일합니다.

입력을 업로드하고 관련성이 있는지 확인하며 머신러닝이 계속 관련성을 유지하도록 돕습니다. 그러면 좋은 결과를 얻을 수 있습니다. 우리가 한 작업에 대해 데모해 드리겠습니다. 이는 우리가 컨텍스트를 최대한 활용하는 방법에 관한 것입니다. 먼저 설명하고 데모해 드리겠습니다. 프로모션된 앱의 스토어 설명을 가져오고, 실제로 인벤토리에 접근할 수 있는 모든 앱의 스토어 설명도 스크랩합니다. 그런 다음 벡터 표현을 생성하고 이를 수학적으로 사용할 수 있는 형태로 임베딩합니다. 이는 컨텍스트를 나타냅니다. 두 벡터가 있을 때 두 벡터 사이의 거리를 측정할 수 있습니다. 예를 들어 복싱 앱을 프로모션하는 경우 '복싱' 또는 '파이팅'이라는 단어가 포함된 모든 콘텐츠는 매우 가까울 것이며 높은 점수를 갖게 됩니다. 

1에서 0 사이의 점수와 같아요. 그래서 실제로 1에 매우 가까울 거예요. 

더 멀리 가면 다른 스포츠로 가고, 더 멀리 가면 스포츠 뉴스로 가서 완전히 관련 없는 항목에 도달할 때까지 계속됩니다. 우리가 이런 식으로 설계했을 때 우리는 A를 생각했습니다. 유지 관리하기 악몽처럼 들리기 때문에 직접 하고 싶지 않았습니다. 우리 업계뿐만 아니라 많은 기업이 그렇게 합니다. 

태깅은 엄청난... 점점 산업이 되어가고 있어요. 태깅과 표기... 이 전체 분야를 그렇게 부를 수 있을 것 같아요. 

우린 그런 일을 하고 싶지 않아요. 너무 게으른 것 같아요. 자동화되길 원하죠. 그래서 기본적으로 스토어에서 변경 사항이나 새로운 앱을 지속적으로 스크랩하는 프로세스를 구축했어요. 이를 기존 데이터 세트에 입력했죠. 그리고 새로운 각 앱에 대해, 이게 맥락이라고 말할 수 있어요. 그 다음 사례 연구를 진행했죠…

존 쿠치어:

실제로 거기에 새로운 제품이 있을 가능성이 있어요. 앱을 분류하는 새로운 방식이죠. 그들이 말하는 대로 분류하는 것이 아니라 실제 분류되는 방식대로 분류하는 거죠.

조셉 아이리스:

그렇습니다. 산업 분야에 대한 통찰력을 추가할 여지가 분명히 있습니다. 우리는 그 정도로는 가지 않았습니다. 기본적으로 기밀 사항이기 때문에... 네, 보여드릴 수 있습니다. 그 작업을 수행하는 버튼을 찾아보겠습니다. 

이 기능은 웹사이트에서 사용할 수 있습니다. 단순히 '구글 컨텍스트 거리 계산기'를 최고 점수와 함께 사용합니다. 왜냐하면 사람들은 분명히 그것을 사용하지 않기 때문입니다. 앱 설명 내부를 보면 키워드가 있으며, 키워드는 실제로 빈도별로 감지합니다. 기계 학습 및 자연어 처리에서 사용되는 용어가 있습니다.

이를 TFIDF라고 합니다. 다시 말하지만, 복잡하게 들리지만 매우 간단합니다. 용어 빈도 역문서 빈도입니다. 기본적으로 전체 말뭉치에 대한 현실입니다. 그래서 어떤 단어가 더 드물게 나타나면 더 높은 가중치를 부여받게 됩니다. 왜냐하면 더 높은 수준으로 맥락을 표현하기 때문입니다. 그래서 엘모라는 모델을 사용합니다. 이 분야에서 많은 모델들이 MuppetNet에서 왔는데, 엘모에서 시작해서 버트, 그리고 그 다음 모델로 이어졌습니다. 재미있게도 왜 그런 이름을 사용하는지 모르겠지만, 단어를 가르치기 때문인 것 같습니다. 생각해보면 말이 됩니다. 

그래서 우리는 임베딩을 생성하기 위해 이미 확립된 모델을 사용하고, 단어의 빈도수에 따라 가중치를 적용합니다. 왜냐하면 이 단어들이 맥락을 표현하기 때문입니다. 이 예제에서 볼 수 있듯이, 덜 나타나는 단어들과 가중치를 적용하여 앱 표현을 얻고 거리를 측정할 수 있습니다. 

여기 있는 몇 가지 데모를 살펴보면, 예를 들어 Homescapes을 보면, 상위 20개 정도만 보여주는데 보통 가장 가까운 것들을 상위 20개 정도 선택합니다. 직접적인 경쟁자들과 유사한 기능을 사용하지만 정확히 같은 테마는 아닌 것들을 볼 수 있습니다. 

데이트를 위해 예를 들어 Bumble을 선택했다고 가정해 보겠습니다. 전 데이트 앱을 써본 적이 없어서요. 나이 들어서 그런 거죠. 하지만 Bumble이 인기 있는 건 사실이라고 생각합니다. 해당 키워드는 매우 직설적이고 그들이 무엇을 원하는지 정확하게 알려줍니다. 더 복잡한 상황으로 가면 얘기가 달라지지만 캠페인을 디자인할 때 SKAN이나 확률적 기여 분석을 위해 이 도구를 사용하려면 이 점을 고려하여 캠페인 구조를 구축하고 이를 모델의 기능으로 사용해야 합니다. 

궁극적으로 가까운 상황에서 이것이 내 성과에 좋은지 나쁜지를 이해합니다. 때로는 반드시 좋을 필요는 없지만 그에 따라 조금 더 나은 경우도 있기 때문입니다. 하지만 우리의 방식은 미래에 대비하고 수동으로 계속 할 필요가 없도록 하는 것이었습니다. 

존 쿠치어:

앱 세계에서 맥락에 대한 이해를 듣는 것은 매우 흥미롭습니다. 물론 웹에는 항상 맥락이 존재해 왔습니다. 그리고 웹에서의 맥락은 비교적 쉽습니다. 페이지에 어떤 광고를 게재할지 결정할 때 해당 도메인에 대해 많은 것을 알 수 있기 때문입니다. 해당 페이지의 콘텐츠에 대해서도 많은 것을 알 수 있습니다. 쉽게 스크랩할 수 있고 이해하기도 쉽습니다. 그래서 많은 맥락 데이터를 가질 수 있습니다. 

하지만 인앱에는 이러한 현실이 존재하지 않으며 스크래퍼 등이 접근할 수 있는 페이지도 없습니다. 그래서 맥락과 그 작동 방식을 살펴보는 것은 매우 흥미로운 접근입니다. 마음에 듭니다. 

크리에이티브에 대해 이야기해 보겠습니다. 크리에이티브는 모델에 어떻게 적용됩니까?

조셉 아이리스:

원래 시스템을 설계했을 당시, 우리는 A-B 테스트부터 시작했어요. 하지만 금방 이해하게 됐죠. 통계적으로 유의미하게 만들려면 다양한 자동화 기능을 구축해야 하고, 이를 통해 효과를 낼 수 있다는 것을요. 심지어 이를 전문으로 하는 사람들도 있죠. 

맞아요, 때로는 그것이 올바른 도구가 될 수 있지만 우리의 사용 사례에서는 모든 것이 매우 빠르게 진행될 때 더 발전된 기술을 활용해야 한다는 것을 이해했습니다. 그래서 우리가 접근한 방식은 사용자 획득 관리자와 매우 다르며, 우리의 경우 크리에이티브는 도구입니다. 사용자 획득 관리자에게도 도구이지만 그 안에 무엇을 넣을지 훨씬 더 많은 생각을 하게 됩니다. 거기에는 대규모 아트 팀이 있습니다.

존 쿠치어:

브랜드...이게 우리 앱처럼 보이나요...이런 것들.

조셉 아이리스:

이해가 되죠? 그러니까, 그런 일이 일어나야 해요. 하지만 우리는 여기에 있고, 우리가 얻는 것을 활용해서 더 빠르고 효과적으로 관찰과 샘플을 수집하는 가장 유용한 도구를 만드는 데 집중해야 해요. 

따라서 새로운 파트너에 대한 모델을 훈련하려면 일종의 콜드 스타트 문제가 발생하는데 샘플을 빠르게 수집해야 합니다. 그렇지 않으면 '나는 당신이 뭔가 하는 것을 보지 못하기 때문에 5만 달러를 들여서 당신과 함께 탐색하지 않을 거야'라고 말합니다. 그래서 우리는 해결책을 구축했습니다. 강화 학습이라고 하는 머신 러닝의 고급 분야에는 또 다른 분야가 있습니다. 비디오 게임 등에서 상대하는 봇을 훈련하는 데 사용되는 분야입니다. 기계에 보상을 주거나 행동에 따른 처벌을 주는 메커니즘이 있기 때문입니다. 슬롯머신의 원암 뱅딧 비유에서 유래한 멀티 암 뱅딧이라는 이중 과장된 이름입니다

존 쿠치어:

네 …

조셉 아이리스:

… 왜냐하면 그들이 해결하려고 했던 이론적인 문제는 어떤 슬롯머신을 플레이해야 승률을 높일 수 있는지였다. 그래서 사실상, 다시 말하면, 훨씬 더 단순한 문제다. 우린 실시간으로 각 창의적 CTR과 IPM을 알 수 있는 능력을 가지고 있다. 이 데이터를 저장하고 매우 빠르게 제공하며 새로운 관찰(노출, 클릭 등)을 할 때마다 업데이트하는 것은 간단하지 않다. 우린 이 부분을 해결했고 확장할 수 있었다. 

이런 식으로 처음에는 아무 것도 모르는 상태로 시작하지만 첫 번째 신호를 받으면 챔피언을 확보하고 더 많은 트래픽을 줄 수 있습니다. 그래서 실제로 두 가지 이상의 변형을 가지고 실시간으로 A-B 테스트를 하고 매우 빠르게 조정할 수 있습니다. 

시간이 지남에 따라 챔피언 또는 여러 챔피언이 통계적으로 더 중요해짐에 따라 더 많은 가중치를 차지합니다. 예를 들어, 트래픽의 최대 85% 또는 90%를 차지합니다. 나머지 10%는 새로운 챔피언이 등장할 가능성을 탐색하기 위해 남아 있습니다. 경우에 따라 소셜 카지노 앱이 1년 동안 동일한 챔피언을 유지하기도 합니다. 때때로 그런 일이 발생합니다. 여러 요소가 잘 맞아떨어지고, 사람들이 설치하도록 만드는 어떤 요인이 작용하여, 챔피언 순위표가 실제로 변하지 않는 상황이 발생합니다. 1등이 계속 1등인 것처럼 말입니다. 

하지만 다른 경우에는 새로운 것을 도입할 때, 창의적인 팀이 좀 더 모험적이라고 할까요, 계속해서 변화하는 상황이 발생할 수 있습니다. 그래서 우리는 항상 탐구할 수 있는 무언가를 구축해야 했습니다. 이는 현재로서는 상당히 강력한 솔루션입니다. 우리의 판단으로는 이 솔루션은 실제로 사용 사례에 잘 부합합니다. 

아이러니하게도 지금까지의 대화에 비추어 볼 때, 하나 빠진 것이 있는데 그것은 바로 맥락입니다. 이 솔루션은 한 번에 한 챔피언을 위해 설계되었기 때문입니다. 그러나 물론 사용자를 타겟팅할 때는 한 가지 페르소나 이상을 다루게 됩니다. 그래서 우리가 현재 작업 중인 다음 단계에서는 기본적으로 여기에 맥락을 추가하는 것입니다. 따라서 챔피언을 선택할 때, 서로 다른 특징에 따라 서로 다른 코호트들이 서로 다른 챔피언을 가지게 됩니다. 추가적인 부스트 효과를 얻게 되는 것이죠.

존 쿠치어:

Super, super interesting. It’s funny you talked about those creatives that are just winning for like a year or something like that. I’ve called those unicorn creatives.

저는 과거에 마케터들로부터 그런 경우를 보았습니다. 그저 하나의 유니콘 크리에이티브가 있어서 이길 수 없는 경우 말이죠. 계속 시도하지만 벽에 부딪히는 격이고 그 하나의 크리에이티브에 결국 이길 수 없습니다.

그런 건 좋은 문제입니다.

조셉 아이리스:

네.

존 쿠치어:

무언가가 정말 잘 작동하고 있다는 뜻입니다. 하지만 마케터들에게는 좌절스러울 수 있습니다. 또한 예산의 약 10%를 테스트에 사용하는 것이 일종의 테스트 비용이라고 생각하는 것도 흥미롭습니다. 다음 유니콘 크리에이티브, 즉 정말 잘 작동하는 다음 크리에이티브를 찾아야 하기 때문이죠. 

DSP 입장에서 어떤 신호가 성공을 의미하는지에 대한 큰 질문이 있다고 생각합니다. 클릭인가요? 클릭은 조작하기가 매우 쉽죠? 플레이 가능한 광고를 보면 누군가가 SKOverlay를 띄우기만 하면 별다른 조치 없이 앱스토어로 바로 이동하니까요. 이와 같은 일이 발생합니다

조셉 아이리스:

안드로이드에서도 동일한 현상이 발생합니다.

이제 iOS만의 문제가 아닙니다. SKOverlay만의 문제도 아닙니다. 말씀하신 것처럼 클릭은 예전과 같지 않습니다. 몇 년 동안 클릭이 의도를 나타내지 않았습니다. 클릭이 반드시 의도를 의미하는 것은 아닙니다.

존 쿠치어:

그랬었나요?

조셉 아이리스:

내 말은, 네가 무슨 말 하는 지 알아. 어느 시점에는 아마도 그랬을 거야. 하지만 우리가 이 분야에 들어왔을 때는 이미 6, 7년의 기술 경험이 있던 때였어. 

하지만 이 미친 규모의 프로그램 방식 도구를 구축할 때, 1초에 3백만 개의 쿼리를 처리하고도 여전히 성장의 여지가 있을 때, 현실이 당신을 강하게 때리듯 빠르게 많은 것을 가르쳐 줍니다 … 인생이 당신에게 빠르게 닥쳐온다고 하죠 … 그래서 우리는 아주 빠르게 가정했어요. 좋아, 애드테크의 모든 쓸데없는 것을 없애 버렸다고 가정해 보자, 라고요 

우리는 사기성 거래를 구매하지 않습니다. 우린 모든 주요 SSP(Unity, AppLovin 등)와 직접 통합되어 있습니다. 그래서 우린 괜찮을 거라고 생각했습니다. 좋은 CPI만 확보하면 모든 것이 잘 풀릴 거라고요 

이 사용자는 실제 사람이고 앱은 설치 후 구매 전환율이 5%입니다. 괜찮을 거라고 생각했죠. 

아니요. 확실히 아닙니다. 특히 CPI를 낮추기 위해 최적화하려고 할 때는 말이죠. 

예측은 항상 서로 정반대라고 할 수 있죠. 사용자가 클릭하거나 설치할 확률이 높으면 대부분의 경우 높은 가치를 가진 사용자로 전환될 확률은 낮습니다. 모든 확률이 높게 나타나는 경우는 매우 드뭅니다. 

우린 이전의 마케터들처럼 왜 클릭하는 유저들이 실제로 설치하거나 결제하지 않는지 고민했습니다. 그리고 그 신호들에 전적으로 의존할 수 없다는 것을 알게 됐습니다. 물론 어트리뷰션에 영향을 미치긴 하지만 어느 정도 염두에 두어야 합니다. 그리고 머신러닝의 다양한 툴을 사용해 가중치를 줄여야 합니다. 

따라서 단일 광고 요청에 대해 수행하는 예측의 전체 문자열은 입찰 공유를 위한 경매 가격 예측으로 구성됩니다. 이에 대해서는 나중에 설명합니다. 그 자체로 정말 흥미롭습니다. 

클릭 확률, 클릭에 따른 설치, 설치 후 이벤트 또는 LTV나 광고주의 KPI에 따른 품질 및 가치와 같은 것을 예측하고, 뷰 스루 어트리뷰션 확률을 예측합니다. 

하지만 이것은 덜 중요한 부분입니다. 처음 세 개를 곱하고 뷰 스루가 끝에 오기 때문입니다. 따라서 이것을 볼 때 가장 중요한 것은 클릭-설치 전환율(CTI), 클릭 후 설치율, 그리고 설치 후 전환율입니다. 따라서 우리는 이것들에 훨씬 더 높은 가중치를 부여합니다. 다른 모든 것은 우리가 효과적으로 훈련할 수 있도록 이러한 목표를 달성하기 위한 도구일 뿐입니다.

존 쿠치어:

재미있는 점은 잠재적으로 볼 수 있는 신호에 대해 얘기하고, 실제로 중요하게 생각하는 클릭-설치에 대해 얘기할 때, 머신러닝 모델이 수백 밀리초 내에 모든 것을 계산하려고 한다는 것입니다.

조셉 아이리스:

네.

존 쿠치어:

 그리고 나는 당신이 눈을 가리고 있는 동안 어둠 속에서 권투를 하고 있다고 생각합니다. 손이 뒤로 묶여 있는 동안 말입니다.

조셉 아이리스:

네

존 쿠치어:

얼마나 많은 장애물을 당신의 앞에 둘 수 있을까요?

당신이 천 미터 높이의 사다리 위에 서 있는 동안, 그 광고를 보거나 보지 않을 수도 있는 사람에 대해 전혀 모르기 때문에 물론 SKAdNetwork에서 프라이버시 시대에 있습니다. 당신은 모르는 거죠. 이 맥락에서 들어가야 하며 곧 안드로이드에서도 마찬가지일 것이며 Privacy Sandbox가 등장할 것입니다. 

SKAdNetwork 데이터를 사용하고 있나요? 수백 밀리초 만에 하고 있는 일에 영향을 미치나요?

조셉 아이리스:

현재는 여전히 제한적입니다. 

존 쿠치어:

그렇다면 안 된다는 얘기죠?

조셉 아이리스:

분명히 미래를 준비해야 하므로 전혀 안 된다는 건 아닙니다. 현재는 여전히 다른 현실에 살고 있지만 내일이나 언젠가 올 비 오는 날을 대비해야 합니다. 어떻게 부르든 마찬가지입니다.

존 쿠치어:

네.

조셉 아이리스:

가중치의 개념도 동일한 방식으로 작동합니다. 이러한 신호들은 전혀 구체적이지 않기 때문에 SKAN 4와 같은 경우, 가장 낮은 수준에서도 결정론적이거나 확률적인 것과는 매우 다릅니다. 여전히 트랜잭션과 연결할 수 있는 것과는 다르다는 얘기입니다. 따라서 소금 한 알을 곁들여 다뤄야 하며 이를 중심으로 계획을 세워야 합니다. 그것이 바로 우리가 하는 일입니다.

SKAN 4의 새로운 구조에서는 더 자세한 정보를 얻을 수 있습니다. 다시 말하지만, 신호에 가중치를 부여하는데, 거친 정도에 따라 가중치를 다르게 합니다

존 쿠치어:

좋습니다.

조셉 아이리스:

맞아요, 그래서 세부적인 것에 더 높은 가중치를 부여하고, 거친 것들은 여전히 보상을 받지만, 중요한 것들에 비하면 가깝지 않습니다. 그리고 우리는 그것을 사용할 수 있습니다.

처음에는 신호 감소에 대한 두려움이 있었지만, 시장의 동향이 빠르게 변하는 것을 보았을 때, ATT가 처음 도입되었을 때 모든 예산이 안드로이드로 이동했고, iOS의 가격은 폭락했습니다.

존 쿠치어:

네, 우리는 그것을 알고 있습니다.

조셉 아이리스:

그것은 당신이 이전과 같은 방식으로 분류할 수 없더라도 여전히 분류할 수 있는 한 게임을 계속할 수 있다는 것을 의미합니다. 그래서 저는

존 쿠치어:

당신은 알다시피, 재미있는 점은 똑똑한 돈이 iOS에 남아 있었다는 것입니다. 성공을 측정할 수 없더라도 성공하지 못했다는 의미는 아니기 때문에 똑똑한 돈이 iOS에 남아 있었습니다.

조셉 아이리스:

그것은 매우 무섭습니다.

존 쿠치어:

그러니 a) 약간의 신념이 있거나 b) MMM처럼 대체 측정 수단이 있다면, 미디어 믹스 모델링 그 외 다른 방법들, 혹은 c) SKAdNetwork를 정말 빠르게 파악했다면 – 어떻게 구현하고 올바른 도구를 쓰면 성능을 최적화할 수 있기 때문에 – 몇 달간 큰 이점을 가졌고, 오늘까지도 아직도 마케터들이 그것을 회피하고, 아직도 ’ SKAdNetwork를 파악하지 못했기 때문에 어느 정도 지속될 수 있다. 따라서 큰 이점을 얻었다. 

하지만 SKAN 데이터가 어떻게 당신의 머신러닝 모델에 포함될 수 있는지 이해하기 어렵습니다. 왜냐하면 그것이 집계되어 특정 기기에 연결되지 않을 뿐만 아니라... 지연도 발생합니다... 그리고 SKAN 4에서의 지연은 상당합니다. 우리는 어떤 경우에는 쉽게 35일이 걸린다고 얘기합니다.

조셉 아이리스:

광고 기술과 머신러닝을 사용하려면 지연된 피드백과 데이터에 대한 통찰력을 즉시 얻을 수 있어야 합니다. 이것이 애트리뷰션이 작동하는 방식이기 때문입니다. 클릭 애트리뷰션을 7일 동안 열어두고 자주 훈련하려는 경우 지금 얻고 있는 노출이 나중에 설치로 전환될 수 있다고 가정하고 내장된 도구가 있어야 합니다. 그렇게 조정하는 것은 그리 어렵지 않습니다. 하지만 설치를 노출과 직접 연결할 수 없다는 현실에 적응하는 것은 훨씬 더 어렵습니다. 

하지만 Apple로부터 데이터를 다시 가져오는 방식에 기반하여 가능한 가장 낮은 수준으로 매핑하는 한 괜찮습니다. ID가 100개였을 때 Tilting Point와의 사례 연구에서 실제로 이를 활용하여 당시에 일반적인 iOS 트래픽보다 더 나은 성과를 얻을 수 있었습니다. 그러나 대부분 현명한 사용자들이 광고를 받지 않았기 때문이지 모두가 그런 것은 아니었습니다. 왜냐하면 iOS 설정의 8개 화면 뒤에서 옵트아웃하는 방법을 알고 있었기 때문입니다. 

따라서 이런 방식으로 고려하고 가중치를 사용하여 실제로 퍼블리셔 앱이나 광고 세트 및 더 깊은 수준을 알고 있는 곳에 더 높은 중요성을 부여하고 최선을 기대합니다. 

농담이에요. 

존 쿠치어:

하하하하!

조셉 아이리스:

하지만 여전히 캠페인을 설계할 때 이 작업을 계속할 수 있는 충분한 신호를 얻을 수 있는 방식으로 해야 합니다. 다시 말하지만, 가격은 항상 사용자의 능력, 우리의 능력 및 실제로 기계 학습 기능을 가진 성과 기반 구매자의 능력에 맞춰 조정됩니다. 우리가 톤을 설정하기 때문입니다 

성과 구매자만이 UA에서 엄청난 높은 CPM을 이길 수 있는 유일한 사람들입니다. 리타겟팅은 다른 이야기지만 UA에서는 우리가 유일하게 이 임프레션 뒤에 숨겨진 수백 개의 IPM을 말할 수 있습니다 

그래서 이전에 감소에 대해 질문하셨으니 실제로 어떤 영향을 미쳤는지에 대한 몇 가지 숫자를 알려드리겠습니다.

존 쿠치어:

네, 여기 녹음을 시작하기 전의 상황 설명이 있으니 참고하세요. 

저는 한동안 궁금했습니다. iOS에서 광고 효율성이 어디에 있는지 말이죠. 안드로이드 얘기는 1-2년 후에나 할 수 있겠죠. 

IDFA pre-ATT 때 우리의 수준이 1이었다고 가정해 봅시다. 효율성이 1이었다는 거죠. 그럼 현재 SKAN 3에서의 우리의 효율성은 얼마인가요? SKAN 4는 또 어떨까요? 효율성이 0.5인가요? 0.3인가요? 0.7인가요? 스캔을 얼마나 잘 이해하고 이 현실에서 어떻게 광고하느냐에 따라 범위가 달라질까요? 이제 당신에게 넘기겠습니다.

조셉 아이리스:

분명히 고려해야 할 요소가 많습니다. 프로모션된 앱의 부각 정도와 같은 요소 말입니다. 앱이 더 인기를 끌수록 SKAN과 실제로 작업하기가 더 쉽습니다. 그러나 일반적으로 말하자면, 제가 살펴본 숫자를 예로 들 수 있습니다. 

캐주얼 게임은 물론 우리의 UA 파트너와 함께 할 때 우리의 믹스의 큰 부분을 차지합니다. 그래서 우리가 예측된 IPM 또는 설치 후 이벤트 확률에 따라 더 높거나 낮은 입찰가를 분류하고 판별하는 능력을 볼 때 캐주얼 게임에 대해 볼 수 있는 IPM 범위는 가장 낮은 확률에서 가장 높은 확률까지는 기본적으로 설치가 없는 0 IPM에서 약 20 사이가 될 것입니다. 이것은 ATT 이전의 상황이며 안드로이드에서의 현실은 어느 정도 이와 유사합니다.  

ATT 이후 0에서 5로 감소했습니다. 단순 수치로 보면 이전보다 효율성이 25% 정도에 그칩니다. 그러나 가격은 그보다 더 많이 감소했습니다. 다시 말해, 이러한 균형이 더 스마트한 구매자에게 기회가 있음을 증명합니다.

존 쿠치어:

정말 흥미롭습니다. 

그것이 미치는 더 넓은 영향을 생각해 보면, 광고 기술, 게시자 및 광고주에 대한 구체적인 영향을 알 수 있습니다. 효율성은 25%지만 비용은 더 많이 감소합니다. 결국 우리는 그것에 대해 크게 신경 쓰지 않습니다. 

더 큰 환경 영향은 무엇인가? 광고가 더 저렴해진다. 더 많은 광고를 보게 될 것이다. 광고 효과가 떨어진다. 더 나쁜 광고를 보게 될까? 지금은 모든 것을 다 다루기에는 시간이 없다. 그러나 그것은 정말 흥미롭다. 아마 블로그 포스트에서 더 다룰 것이다. 

이제 끝내야 한다. 정말 흥미로웠다. 정보도 많았다. 얘기하신 내용 정말 마음에 든다. 이제 끝내야 한다. 여기서 마치겠다. 가장 예측력이 높은 신호는 무엇인가? 앱 설명이나 목록 등 맥락 때문인가? 다른 이유 때문인가? 가장 예측력이 높은 신호가 무엇이라고 생각하는가?

조셉 아이리스:

실제로 대부분의 항목은 그 자체로는 의미가 없지는 않지만 필요한 것을 얻는 데는 충분하지 않습니다. 

그래서 고전적인 예로, 머신러닝 실무자로서 수행할 첫 번째 작업 중 하나는 주택 가격을 예측하는 것입니다. 그렇죠? 이것이 바로 전형적인 사용 사례입니다. 그리고 이를 위한 특징들로는 방의 개수, 주택의 계단 수, 지하실 유무 등이 있습니다. 그리고 이러한 서로 다른 요소들을 기반으로 이전 지식을 바탕으로 가격이 어떻게 될지 예측하는 방정식을 만듭니다. 결국 현실은 이러한 특징들 간의 모든 상호작용에서 비롯됩니다. 

표면적으로 보면 사용자가 세션 시작 단계에 있을 뿐이라면 아무 의미가 없습니다. 하지만 그가 세션 시작 단계에 있고 현재 플레이 중인 컨텍스트와 유사한 컨텍스트에 있으며, 예를 들어 오후 8시이고 슈퍼볼이 어제였다면, 이 시점에서 갑자기 20, 30, 40개의 IP를 가져올 수 있는 매우 구체적인 현실을 가지게 됩니다.

그것은 결코 그 자체로 하나의 특징이 아닙니다. 항상 몇 가지 요소가 조합된 형태입니다. 보통 세션 주변에서 발생하죠. 세션은 매우 강력한 힘을 가지고 있습니다. 사용자의 주의 집중 시간이 짧기 때문에 올바르게 활용하는 방법을 안다면 말이죠. 대부분의 상황에서 세션의 시작이 더 낫습니다. 새로운 것에 대해 더 개방적이기 때문입니다. 그러나 해당 사용자가 처한 맥락, 전체적인 맥락 또는 코호트의 맥락과 일치해야 하며, 이전에 언급한 것처럼 ISP와 같이 의미 없어 보이는 요소도 여전히 고려해야 합니다. 그러나 다시 말하지만, 이 모든 것을 결합하고 충분한 정보를 가지고 있다면, 매우 구체적인 경우에 도달할 수 있습니다. 네, 다시 말하지만 모든 요소가 일치하는 경우죠. 

저 문장을 자주 사용하지만, 디자인을 할 때는 그런 점이 필요합니다. 그래서 …

존 쿠치어:

본질적으로 당신이 말하는 것은 기계 학습과 적절한 사람에게 적절한 광고를 적절한 시기에 제공하는 것이 기본적으로 점성술과 같다는 것입니다. 별들이 정렬되어야 하기 때문입니다. 그리고 모든 요소들이 …

조셉 아이리스:

네, 하지만 내 말은, 전 하지 않죠, 알다시피, 제가 어릴 때는 했었죠, 그냥 신문을 펼쳐서 운세 부분을 읽었었죠. 네, 그런 것들은 아주 일반적이죠? 안 좋은 날을 보낼 거라고, 뭔가를 잃을 거라고 하죠, 알다시피 …

존 쿠치어:

오늘 당신은 새로운 사람을 만나게 될 것입니다!

조셉 아이리스:

애드테크의 경우, 여러분은 시도하고 있죠... 네, 우리의 경우에도 네, 좀 더 구체적이어야 하지만 어느 정도 그런 면이 있습니다. 왜냐하면 점성술사들이 하는 일을 생각해 보면, 그냥 그렇죠, 많은 경우에 지난주에 여러분은 아마도 이런 일들이 일어났을 겁니다. 여러분은 좌절했고, 내일도 일상 생활에서 일어나는 평범한 일들이 일어날 것이라는 것을 알죠. 네, 네, 네. 그런 식으로 어느 정도요. 하지만 네, 아주 수학적이며 과학적인 방법론을 지향합니다. 

신호가 아무리 많아도 올바른 도구를 설정하고 데이터를 올바르게 정리하며 현재 상황에 대처하고 빠르게 적응한다면 현재 세계에서 가장 중요한 일이라고 생각합니다. 모든 것이 매우 빠르게 변화하고 있기 때문에 경쟁할 수 있습니다. 그래서 저희가 더 효과적으로 일을 처리할 수 있다고 믿기 때문에 저는 오랜 시간 동안 일합니다.

존 쿠치어:

훌륭합니다, 정말 훌륭해요. 과학에서 점성술, 그리고 운세 쿠키까지 왔다가 다시 공부를 열심히 하면 좋은 일이 생긴다는 것을 알았습니다.

조셉 아이리스:

네.

존 쿠치어:

조셉, 정말 유익했고 재미도 있었습니다. 감사합니다.

조셉 아이리스:

감사합니다, 존. 와줘서 기뻐요.