MMM 간편 버튼: 미디어 믹스 모델링을 위한 간편 버튼을 누르는 방법

MMM은 악명 높을 정도로 어렵습니다. 

데이터를 수집하고, 모델을 구축하고, 외부 데이터를 추가하고, 경계를 설정하고, MMM을 실행하는 데 몇 달이 걸릴 수 있지만, 결국 터무니없는 결과가 나오거나, 지나치게 검증되고 인위적으로 경계가 설정되어 이미 알고 있는 내용만 제공하는 결과가 나올 수도 있습니다. 

그럼 … 쉬운 버튼을 어떻게 누르나요 미디어 믹스 모델링?

MMM 간편 버튼: Singular?

간단한 답은: 사용하세요 Singular 을(를) 당신의 MMP. 이 말이 다소 자기 중심적으로 들릴 수도 있지만(그리고 실제일 수도 있지만) 그렇다고 틀린 것은 아닙니다.

Singular MMM을 위한 간편한 솔루션인 이유는 다음과 같습니다

1. 수천 개의 광고 파트너사를 통해 즉시 사용 가능한 전체 광고비 관리 기능 , 별도의 설정이 필요 없습니다. 결과적으로 수백 시간의 시간을 절약할 수 있습니다
2. 완전 자동 온보딩 때문에 Singular 이미 모든 과거 데이터를 보유하고 있습니다. 이는 며칠이 걸리지만 모든 준비 작업은 Singular’의 측면 … 당신 것이 아닙니다.
3. 시장 트렌드 내장 는 사실 Singular 는 세계 최고 수준의 마케팅 측정 기업 중 하나입니다. 우리는 수십억 건의 설치와 수조 건의 클릭을 관찰합니다. 따라서 휴일, 이벤트, 재해, 트렌드 등 계절성에 따른 급증·감소가 있을 때도 즉시 파악합니다. 또한 전 세계 환경 데이터를 직접 입력하거나 추측할 필요가 없습니다.
4. 직접 귀속 데이터와 즉시 비교 덕분에 Singular 마케팅 측정을 관리하고 SKAN, IDFA, GAID, Privacy Sandbox(시점), 인앱 이벤트, 광고 클릭·노출 등을 수집합니다… 원하는 대로. 세계 최고 수준 MMM 모델 보정으로 정확하고 의미 있는 결과를 제공합니다.

"제품을 설계할 때, 우리는 우리의 강점과 시장에서의 진정한 차별점에 의존하고 싶었습니다."라고 Singular 의 CTO인 Eran Friedman은 최근 Growth Masterminds 인터뷰에서 말했습니다. "MMM이 정확하려면 100% 커버리지와 풍부한 과거 데이터가 필요합니다. 그리고 이러한 모든 데이터 소스를 수집하고, 준비하고, MMM이 처리를 시작할 수 있도록 형식을 지정하는 데는 엄청난 시간이 걸릴 수 있습니다."

MMM을 직접 운영한다면 데이터 소스가 골칫거리입니다. 보정 작업도 어렵고요. 하지만 가장 큰 어려움 중 하나는 시장 동향입니다. 정확하고 관련성 높은 동향 데이터에 접근할 수 없고, 그 데이터를 MMM 모델에 어떻게 추가해야 하는지, 그리고 그 데이터에 얼마나 가중치를 부여해야 하는지 정확하게 예측할 수 없다면… 그야말로 악몽입니다.

즉, 설치량의 급격한 변동은 겉보기에는 자연스러운 것처럼 보이지만, 그 원인은 미스터리라는 뜻입니다.

한 가지 예로, 새로운 Threads 앱을 들 수 있습니다.

신생 앱이 일주일 만에 1억 건의 설치를 기록하는 것은 모바일 생태계에 큰 파장을 일으킵니다. 이에 따라 'Threads'라는 이름을 가진 한 앱은 재빨리 이름을 "Threads - Not By Instagram"으로 변경했습니다

프리드먼은 "각 국가별로 이러한 요소를 모델에 입력하는 방법을 모르면 마케팅 비용의 영향이라고 생각할 수 있지만, 실제로는 외부 요인이 결과에 영향을 미친 것"이라며, "이러한 요소가 결과에 어떻게 영향을 미치는지 살펴보는 것은 매우 흥미롭다"고 말했다

Singular MMM 모델: 로빈? 경량 MMM?

Singular는 오픈 소스 Robyn이나 Lightweight MMM을 사용하고 있지는 않지만, 둘 다로부터 배우고 있습니다.

프리드먼은 “저희는 로빈과 라이트웨이트에서 많은 영감을 받았습니다.”라고 말하며, “이 모든 것을 검토한 결과, 유사한 개념들을 바탕으로 저희만의 모델을 구축하게 되었습니다. 각 브랜드의 장점을 취합하려고 노력했지만, 업계에 대한 저희의 지식을 토대로 더욱 차별화할 수 있는 부분이 있다고 생각했습니다.”라고 덧붙였습니다

트렌드가 한 예입니다.

Singular MMM은 이진적인 예/아니오 추세 입력 대신 시간 가중 회귀 모델과 몇 가지 특별한 변형이 가미된 독자적인 베이지안 모델을 사용합니다.

Singular MMM을 사용한 고객 결과: 놀라운 결과

MMM은 자체적으로 구현하기 어려울 뿐만 아니라, 사용자 확보 또는 성장 팀에 또 다른 측정 기능을 추가하는 것 자체가 추가적인 어려움을 야기합니다.

• 무엇에 사용하시나요?
• 누가 사용하나요?
• 얼마나 자주 확인하시나요?
• 어떤 결정을 내리는 데 도움이 되나요?
• 어떤 결정에 대한 통찰력을 제공하지 않나요?
• 만약 해당 데이터가 마지막 클릭 직접 유입 데이터와 모순된다면, 어느 쪽을 신뢰하시겠습니까?

두 개 시계 문제입니다. 하나만 있으면, 당신은 알죠 시간을 알 수 있습니다. 두 개가 약간(또는 크게) 다르면 궁금해집니다.

프리드먼은 반응이 예상보다 좋았다고 말합니다.

"처음에 받은 피드백 중 하나는 '와, 채널 간 차이에 대해 우리가 내부적으로 가졌던 의심과 정말 일치하네요'라는 것이었습니다. 특정 채널이 마지막 클릭 기반 기여도 측정에서 잘못 집계되어 실제로는 수익에 더 많은 기여를 하고 있는 것 아니냐는 의심이 있었던 거죠. 하지만 구체적인 증분 효과 테스트나 일반적인 테스트 없이는 이를 증명하기가 정말 어렵습니다."

이는 향후 의사 결정 및 예산 배분에 대한 신뢰를 더욱 높여줄 것입니다.

프리드먼은 “결과를 보면 실제로 그 차이를 확인할 수 있습니다.”라고 말합니다. “그러면 팀은 ‘와, 정말 상당한 효과가 있구나’라는 확신을 갖게 됩니다. 처음에는 의심하고 ‘어떻게 해야 하지? 뭘 믿어야 하지?’ 하는 딜레마에 빠지기보다는, 오히려 그 가설을 검증하는 데 더 집중하고, 단계적인 테스트를 실행해서 더 나은 결과를 도출하는지 확인해 볼 가치가 있다는 확신을 갖게 되는 거죠.”

Singular MMM을 테스트하는 고객들은 흥미롭고 가치 있는 결과를 꾸준히 보고하고 있다고 그는 덧붙였다.

그건 정말 좋은 소식이지만, 두 번째로 좋은 답변은 이런 결과를 얻기 위해 필요한 노력이 거의 없다는 것이었습니다.

MMM을 사용해 본 대부분의 Singular 고객에게 데이터 수집, 데이터 관리, 모델 구축 및 유지 관리는 엄청난 노력이 필요한 작업이었으며, 그 결과 또한 만족스럽지 못하거나 일관성이 없었습니다. 하지만 이제 그들은 MMM 보고서를 손쉽게, 즉시 받아볼 수 있습니다.

"이런 결과는 정말 놀라웠죠?" 프리드먼이 말했다. "완전히 자동화되어 있어서, 담당자들은 아무것도 할 필요 없이 초기 인사이트만 얻으면 됐어요. 정말 대단했죠. 이제 담당자들은 결과를 바로 분석하고, 거기서부터 어떻게 개선해 나갈지 생각할 수 있게 됐습니다."

더 자세한 내용은 전체 팟캐스트와 영상에서 확인하세요

이 Growth Masterminds 에피소드를 놓치지 마세요

구독하기 Singular’s 유튜브 및 오디오 팟캐스트 놓치지 않게 구독하세요. 최근 게스트는 다음과 같은 주제를 다루었습니다:

• 전자상거래 및 게임 내 사기
• Fluent 공동 설립자 Matt Conlin과의 Alt-UA
• InMobi의 비즈니스 최고 책임자 Kunal Nagpal과 같은 게스트와의 생태계 변화
• 게임 분야의 생성형 AI에 대해 유니티 CEO 존 리치텔로와 이야기를 나눠보세요
• Dive의 Elad Levy(Playtika에 게임 회사를 매각한 사람)와의 대규모 게임 성장
• 안드로이드 개인정보 보호 샌드박스
• 프라이버시 시대의 타겟팅
• 앱 구독 취소 감소
• 그리고 ... 훨씬 더 많은!

안녕하세요: 영상을 보는 속도보다 읽는 속도가 더 빨라서 대본이 필요하신가요? 여기 당신을 위해 준비한 전체 대본이 있습니다

이 내용은 대부분 인공지능이 생성한 것임을 유의해 주세요. 정확한 메시지를 들으시려면 듣거나 영상을 시청하세요.

존 쿠치어:

MMM을 위한 손쉬운 해결책을 찾았을까요? 안녕하세요, Growth Masterminds에 오신 것을 환영합니다. 저는 존 코에치어입니다. 

트리플 M, 미디어 믹스 모델링, 마케팅 믹스 모델링이 쉽다는 말은 들어본 적이 없습니다. 지금 말하는 것조차 좀 과장된 표현처럼 느껴지지만… Singular의 새로운 베타 프로그램에서 그 '쉬운 해결책'에 가장 가까운 것을 발견했을지도 모릅니다. 

더 자세히 알아보기 위해 CTO인 에란 프리드먼 씨를 모셨습니다. 에란 씨, 환영합니다.

에란 프리드먼:

초대해 주셔서 감사합니다, 존. 이곳에 오게 되어 기쁩니다.

존 쿠치어:

멋지네요, 항상 함께해 주셔서 감사합니다. 아마 '이번이 네 번째 출연인데, 사람들이 지루해하겠지!'라고 생각하실지도 모르겠네요 

음… 아마 아닐 거예요. 통찰력이 좋으시네요. 아주 훌륭합니다. 그럼, 바보 같은 질문이라도 바로 해볼까요?. 

우리가 쉬운 해결책을 찾은 걸까요?

에란 프리드먼:

확실히 훨씬 더 쉽게 만들었다고 생각합니다. 제 믿음은 그렇습니다. 그리고 앞으로 더 개선할 여지도 많이 남아 있습니다. 

하지만 지난 몇 년간의 기술 발전과 Singular에 대한 투자 덕분에 이전보다 훨씬 쉬워진 것은 확실하다고 생각합니다.

존 쿠치어:

자, 그럼 왜 더 쉬운지, 어떤 작업을 했는지, 어떻게 작동하는지 등 세부적인 내용에 들어가기 전에… 큰 그림으로 봤을 때 MMM의 어려운 점은 무엇일까요?

에란 프리드먼:

그래서 제가 설명드리자면, MMM을 사용해 보신 분이라면 누구나 데이터 수집부터 시작해서 흔히 겪는 어려움들을 잘 알고 계실 거라고 생각합니다. 

MMM은 데이터 과학에 크게 의존하는 방법론입니다. 방대한 양의 과거 데이터를 모델에 입력하고 그 위에 모델을 구축하는 방식이죠. 데이터 과학자들과 이야기를 나누다 보면, 대부분 "우선 데이터를 제대로 준비해야 한다"고 말합니다. 그리고 그 과정은 상당한 노력이 필요합니다. 

MMM이 정확한 결과를 얻으려면 100% 커버리지와 풍부한 이력 데이터가 필요합니다. 이러한 모든 데이터 소스를 수집하고, 준비하고, MMM이 처리를 시작할 수 있도록 형식을 지정하는 데는 엄청난 시간이 걸릴 수 있습니다. 

그래서 저는 그게 제대로 작동하기 위한 첫 번째 단계라고 생각합니다. 

그다음은 데이터의 반복 및 테스트에 집중하는 것입니다. MMM 결과의 정확성 또는 신뢰도에 대한 고려 사항이 많습니다. 지오리프트나 증분 테스트와 같은 다양한 기법을 통해 기준점을 찾을 수 있습니다. 

살펴볼 수 있는 매개변수는 많습니다. 예를 들어, 오차 지표를 측정하여 모델이 결과에 얼마나 근접했는지, 즉 모델의 예측 정확도가 얼마나 높은지 파악할 수 있습니다. 하지만 이를 위해서는 많은 조정과 반복 작업이 필요합니다. 어느 정도 확신이 드는 결과에 도달했다면, 다음 단계는 세부적인 분석을 진행하는 것입니다. 높은 수준에서만 살펴보는 것은 쉽지만, 그 이상의 세부적인 분석은 쉽지 않습니다. 

이건 첫 번째 단계로, 대략적인 지표를 살펴보고 총 예산이 얼마인지, 그리고 그 예산이 전체적인 결과에 어떤 영향을 미치는지 파악하는 것입니다. 

하지만 더 세분화하고 싶다면, 예를 들어 국가별 세그먼트나 출처별 분류, 또는 그보다 더 세분화된 분류를 생각한다면, 훨씬 더 많은 데이터와 각 세그먼트별로 훨씬 더 많은 조정 작업이 필요합니다. 

그리고 그건 당신의 실적에 영향을 미칠 수 있는 다른 외부 요인들에 대해서는 생각조차 해보지 않은 상태입니다. 

MMM은 현재 상황에 대한 최대한 많은 정보를 확보하는 데 크게 의존합니다. 따라서 결과에 영향을 미칠 수 있는 자신의 활동을 알고 있더라도, 경쟁사나 업계 전반과 같이 외부에서 일어나는 일들도 고려해야 합니다. 이러한 모든 정보를 수집하여 최종 결과를 정확히 파악하고, 그 정확도를 확인하는 것은 매우 어렵습니다 

그래서 실제로 사용해 보려고 했던 사람들로부터 많이 들었던 어려움의 몇 가지 예를 들어보겠습니다…

존 쿠치어:

벌써부터 피곤해지네요. 그러니까…

에란 프리드먼:

하하하!

존 쿠치어:

…이런 문제들은 결코 쉽게 해결할 수 있는 게 아니기 때문에, 우리에게는 확실히 간편한 해결책이 필요합니다. 

데이터를 수집하고 모델을 구축하고 테스트하는 데 몇 달을 보낼 수도 있습니다. 그런데 그러고 나면 '내가 이걸로 뭘 얻었지? 뭘 성취했지?'라는 생각이 들 겁니다 

음… 그러니까… 처음에 쉬운 버튼을 찾았다고 직접적으로 말씀하시진 않으셨지만, 훨씬 더 쉽게 만드는 방법을 찾았다고 하셨잖아요. Singular 어떻게 훨씬 더 쉽게 만들었나요?

에란 프리드먼:

네. 그래서 저희는 제품을 설계할 때, 저희의 강점과 시장에서의 진정한 차별점에 의존하고 싶었습니다. 

Singular 수년간 데이터 수집 기능을 확장해 왔습니다. 이는 마케팅 믹스에 포함될 수 있는 모든 유형의 지출을 완벽하게 파악하는 데 중점을 둔 핵심 제품입니다. 이미 수년 전부터 저희 제품의 핵심 기능으로 자리 잡았죠. 저희는 고객 여러분께 미디어 채널 통합, 엑셀 파일 등 어떤 형태든 모든 유형의 데이터를 수집하여 미디어 예산의 100%를 커버해 드리겠다는 약속을 지켜왔습니다. 이것이 바로 저희 제품의 핵심입니다. 

그리고 이는 MMM의 모든 고객이 별도의 설정 없이 바로 예산에 맞는 완벽한 보장을 받을 수 있다는 것을 의미합니다. 이미 제품에 포함되어 있습니다. 

그뿐만 아니라, 저희는 고객을 위한 과거 데이터도 보유하고 있으며, 고객이 과거 데이터를 활용할 수 있도록 지원해 드릴 수도 있습니다. 

이는 MMM에 필수적입니다. 정확한 정보 처리를 시작하려면 최소 1년에서 2년 정도의 데이터가 필요합니다. 데이터가 1년 미만인 경우, 모델을 보정하기 위한 테스트를 실행할 수 있습니다. 

하지만 분명한 사실은 우리가 이미 고객을 위한 측정 및 데이터 플랫폼이라는 점입니다. 즉, 우리는 이미 과거 데이터를 보유하고 있으며, 이를 거의 자동으로 프로세스에 입력할 수 있다는 것입니다. 

그래서 우리는 이미 기본적으로 제공되고 모든 고객이 이용할 수 있는 서비스 범위와 과거 데이터를 기반으로 시작합니다. 

자, 데이터 부분은 다뤘으니 이제 보정 부분으로 넘어가 보겠습니다. 데이터가 정확한지 어떻게 알 수 있을까요? 또는 어떻게 보정할까요? 아마 곧 자세히 이야기하겠지만, Robyn, Lightweight MMM 같은 오픈 소스 프레임워크를 사용할 때는 기본적으로 결과에 대한 경계를 설정해야 합니다. MMM을 실행하면 매우 이상한 결과가 나올 수 있기 때문입니다. 음수가 나오거나, ROI가 수천 퍼센트에 달하는 등 말이 안 되는 수치가 나올 수도 있죠 

일반적으로 데이터 과학자의 역할은 그러한 안전장치를 마련하기 위해 하드코딩된 수치를 입력하고, 그들이 집중해야 할 일반적인 영역이 무엇인지 보여주는 것입니다. 

다시 말씀드리지만, MMP로서 저희가 가진 또 다른 장점은 보정에 사용할 수 있는 추가 데이터 포인트가 있다는 것입니다. 예를 들어, 디지털 광고 지출을 관리하는 경우, 이는 미디어 믹스의 일부이며, 일반적으로 그렇듯이 직접 기여도 분석 결과를 활용하여 모델을 보정하고, 기본적으로 경계를 설정할 수 있습니다. 

그러니까 정답을 제공하는 게 아니라(그게 반드시 정답은 아니니까요), MMM이 집중해야 할 일반적인 영역을 제시해서 결과를 보정하는 데 도움을 드리는 겁니다.

존 쿠치어:

기본적으로 타당성 검토입니다.

에란 프리드먼:

정확히. 

그리고 마지막으로, 데이터 과학자들이 사내에서 구축하기에는 사실상 불가능한 마지막 과제는 바로 기존 노력의 범위를 벗어나서 벌어지는 일들입니다. 

경쟁사들은 어떻게 움직이고 있는지, 업계 전반의 동향은 어떤지 알아야 합니다. 자체 솔루션을 사용한다면, 어떤 오픈 소스 프레임워크를 사용하든 간에 이러한 정보에 접근할 수 없습니다. 오픈 소스 프레임워크를 사용하면 중요한 휴일이나 특정 사건 발생 시간 등 데이터에 영향을 미칠 수 있는 모든 정보를 수동으로 입력할 수 있는 옵션이 제공됩니다. 

너무 이진적이고 상당히 단순화되어 있네요.

존 쿠치어:

음흠.

에란 프리드먼:

다양한 고객으로부터 얻은 방대한 데이터가 벤치마크 데이터의 일부라는 점이 중요합니다. 이를 통해 추세를 자동으로 파악하고 각 고객 세그먼트별로 특정 날짜가 미치는 영향을 정확히 알 수 있습니다.

데이터 추세를 분석해 보면, 이 날짜는 크리스마스였고, 이 날짜는 추수감사절이었으며, 슈퍼볼이 열린 날짜였다는 것을 알 수 있습니다. 이처럼 데이터는 아무런 노력 없이도 매출에 자연스러운 영향을 미칩니다. 데이터 자체에 내재된 데이터 포인트를 활용하여 데이터 과학 모델을 최적화할 수 있는 것입니다.

존 쿠치어:

그건 정말 엄청난 문제예요. 왜냐하면 제가 MMM을 볼 때마다 항상 궁금했던 점이거든요. 만약 경쟁사가 엄청난 마케팅 캠페인을 벌여서 매달 수천만 달러를 쏟아붓고 있다면, 그게 저에게도, 시장에도 영향을 미치는데 제가 그걸 몰랐다면 어떻게 될까 하는 거죠. 

아니면 다른 일이 벌어진다면 어떨까요? 

그러니까, 저는 새로운 Threads 앱에 대해 생각해 보고 있었어요. 

앱스토어에서 'Threads'를 검색하면 공식 Threads 앱이 맨 위에 나오지 않아요. 적어도 어제 제가 해봤을 때는 그랬습니다. Threads라는 이름의 다른 앱들이 많이 있고, 'Threads - Not By Instagram'이라는 앱도 있더라고요. 그래서…

에란 프리드먼:

헤헤헤

존 쿠치어:

 …그들은 이미 그 이름을 바꿨어요. 

하지만 그런 일이 발생하면, 즉 엄청난 사건이 발생하고 수억 명의 사람들이 어떤 행동을 하며 그것이 다른 곳에 영향을 미친다면, 여러분은 그것을 인지하지 못할 것이고, 외부 현실을 알아차리지 못할 것이기 때문에, 여러분의 MMM은 잠재력을 최대한 발휘하지 못할 것입니다

에란 프리드먼:

네, 스레드 출시와 그것이 다른 특정 앱에 미친 영향에 대해 말씀하셨던 것 같은데, 전적으로 동감합니다. 

실제로 이러한 추세를 살펴보면, 이러한 요소들이 결과에 미치는 영향을 보는 것이 정말 흥미롭습니다. 예를 들어, 저희가 주목한 것 중 하나는 코로나19가 모든 자동차 게임의 자연 유입 트래픽에 미친 영향입니다. 제 기억이 맞다면 2020년 3월 특정 날짜에 일부 국가(모든 국가가 아니라 특정 국가)에서 폐쇄 조치가 필요하다는 공지가 있었습니다. 

벤치마크 추세를 보면 알 수 있듯이, 국가별로 정도는 다르지만 전반적으로 자연 유입 설치량이 상당히 증가했습니다. 

그러니까 국가별로 이런 요소들을 모델에 입력하는 방법을 모르면 마케팅 비용의 영향이라고 생각할 수 있지만, 실제로는 외부 요인이 결과에 영향을 미친 것일 수 있습니다. 이렇게 외부 요인이 결과에 어떻게 영향을 미치는지 살펴보는 것은 정말 흥미롭습니다.

존 쿠치어:

물론이죠, 밀물이 들어오면 모든 배가 떠오르잖아요, 그렇죠? 

그리고 당신은 스스로 영웅이고 천재이며 마케팅이 훌륭하다고 생각할지 모르지만, 어쩌면 이 상승세의 평균치에도 못 미치고 ​​있을지도 모릅니다. 따라서 이러한 영향들을 구분해내고 자신이 하는 일의 진정한 가치를 이해할 수 있어야 합니다. 

방금 전에 MMM용 오픈 소스 프레임워크인 Robyn에 대해 언급하셨는데요. 이 외에도 다양한 프레임워크가 있습니다. Singular 어떤 프레임워크를 사용하고 있나요? Robyn을 사용하시나요, 아니면 다른 기술을 사용하시나요? 

지금 사용하고 있는 기술을 선택하게 된 계기는 어떤 결정들이었나요?

에란 프리드먼:

저희는 로빈과 라이트웨이트에게서 많은 영감을 받았어요. 이런 아티스트들이 많이 있죠. 

이 모든 것을 평가한 결과, 유사한 개념들을 바탕으로 우리만의 모델을 구축하게 되었습니다. 각 모델의 장점을 취합하려고 노력했지만, 업계에 대한 우리의 지식을 토대로 좀 더 맞춤화할 수 있는 부분이 있다고 판단했습니다. 

방금 언급한 추세 분석처럼, 예를 들어 로빈의 경우 특정 휴일이나 날짜를 선택해야 하는 이진 변수와 같은 방식이 있는데, 여기서는 국가별, 부문별로 다르게 나타날 수 있는 구체적인 효과를 입력할 수 있는 요소가 훨씬 더 많다는 것을 알게 되었습니다. 그래서 비슷한 개념을 활용하여 자체적인 시간 가중 회귀 모델과 베이지안 모델을 구축하고, 두 모델 모두를 테스트하면서 저희 모델에 필요한 특수한 입력값을 추가해 왔습니다.

존 쿠치어:

그건 다른 생태계 데이터가 얼마나 중요한지를 다시 한번 강조하는 거죠. 예를 들어 휴일을 입력한다고 가정해 봅시다. 그럼 어떤 영향이 있을까요? 어떻게 알 수 있을까요? 그냥 추측하는 수밖에 없죠… 휴일을 입력해 보는 겁니다. 

하지만 비슷한 업종이든 다른 업종이든 앱 다운로드 데이터를 실제로 살펴보면, 7월 4일 독립기념일 때문인지 아니면 다른 어떤 이유 때문인지 추측할 필요 없이 "무언가"가 일어났다는 것을 알 수 있습니다. 현실이 바뀐 거죠. 원인은 거의… 물론 중요하긴 하지만, 거의 중요하지 않다고 할 수 있습니다. 

하지만 현실은 달라졌습니다. 

그렇다면 당신은 그러한 변화 속에서 어떻게 움직이고 있습니까? 경쟁사보다 앞서 나가고 있습니까, 아니면 뒤처지고 있습니까? 정말 흥미로운 질문입니다. 

지금까지 고객들의 경험에 대해 간략하게 말씀해 주시겠어요? 이 서비스를 두 달 전에 베타 버전으로 출시하셨던 걸로 알고 있는데, 그 이전부터 이미 서비스를 이용하고 작업해 오신 고객분들도 계실 것 같습니다. 

고객들은 무엇을 배우고 있나요? 무엇을 발견하고 있나요?

에란 프리드먼:

네, 솔직히 반응이 정말 놀라울 정도로 좋았습니다. 고객분들이 보여주신 반응에 정말 만족하고 있습니다. 

그리고 우리가 확인하고 싶었던 것 중 하나는, 또는 답을 찾고 싶었던 질문은, 고객이 결과에 대해 어떻게 확신을 가질 수 있을까 하는 것이었습니다. 고객 입장에서 MMM 결과와 SKAN, 마지막 클릭 등 다양한 기준에 기반한 기여도 분석 결과를 볼 때, 이 두 가지를 어떻게 비교하고 무엇을 신뢰해야 할지 이해할 수 있을까요? 

하이브리드 측정에 대한 장기적인 비전과 저희의 생각에 대해 좀 더 자세히 이야기해 드릴 수 있지만, 초기 반응이 정말 흥미로웠습니다. 왜냐하면 많은 경우, 저희는 베타 고객들에게 먼저 서비스를 제공하고 결과를 보여드렸기 때문입니다. 

아시다시피, 저희가 처음 받았던 피드백 중 하나는 "와, 채널 간 차이에 대해 내부적으로 가졌던 의심과 정말 일치하네요."라는 것이었습니다. 그리고 이러한 결과는 매우 일관성이 있습니다. 예를 들어, 특정 채널이 마지막 클릭 기반 기여도 측정에서 잘못 계산되어 실제로는 수익에 더 많은 기여를 하고 있을 수 있다는 의심이 있을 수 있습니다. 하지만 구체적인 증분 효과 테스트나 일반적인 테스트 없이는 이를 증명하기가 매우 어렵습니다. 

그리고 운영상의 변화를 관리하는 것이 항상 쉬운 일만은 아닙니다. 

하지만 결과를 보고 실제로 차이를 확인하게 되면, 팀은 "와, 정말 상당한 효과가 있구나"라는 확신을 갖게 됩니다. 처음에는 의심하고 "어떻게 해야 하지? 뭘 믿어야 하지?" 하는 딜레마에 빠지기보다는, 오히려 그 가설을 검증하는 데 더 집중하고, 단계적인 테스트를 진행해서 더 나은 결과를 도출하는지 확인해 볼 가치가 있다고 확신하게 되는 거죠. 

그리고 초기 베타 테스트에 참여한 고객들로부터 상당히 일관된 피드백을 받았는데, 새로운 통찰력을 얻고 기존에 의심하던 부분을 확신하게 되거나, 사물을 다른 방식으로 생각하게 되면서 "아, 이거 정말 흥미롭네"라고 말하는 경우가 많았습니다. 

우리는 그것이 그렇게 극적인 영향을 미칠 거라고는 상상도 못 했어요. 

제가 생각하기에 가장 멋진 점 중 하나는 이전에 MMM을 사용해 본 고객 중 일부가 데이터 수집, 데이터 관리, 모델 유지 관리에 너무 많은 시간과 노력이 들었다고 피드백을 주었다는 것입니다. 그런데 이제 첫 사용부터 MMM 보고서를 바로 받아볼 수 있게 되었다는 점입니다. 

이것들 중 일부는 정말 놀랍죠, 그렇죠? 

그러니까, 완전히 자동화되어 있어서 그들은 아무것도 할 필요 없이 초기 인사이트만 얻을 수 있었어요. 정말 놀라운 점이었죠. 그들은 곧바로 결과를 살펴보고 거기서부터 어떻게 개선해 나갈지 생각할 수 있었어요. MMM을 구현하는 과정에서 발생하는 핵심적인 문제점을 해결해 주었기 때문에, 사용자들로부터 아주 긍정적인 피드백을 받았습니다.

존 쿠치어:

방금 하신 말씀에는 곱씹어볼 부분이 많네요. 

우선, 방금 "쉬운 버튼이 있죠"라고 말씀하셨잖아요. 그 부분에 대해서는 댓글 달지 않으시도록 제가 먼저 말씀드리겠습니다. 🙂

그런데 두 번째로 흥미로운 점은, 제가 1년 전, 2년 전, 어쩌면 3년 전쯤에 나눴던 대화들을 기억한다는 것입니다. 어떤 대화는 Singular안에서, 어떤 대화는 Singular밖에서 나눴던 것이죠 

MMM은 사라진 적이 없습니다. 아주 오랫동안 존재해 왔고, 간간이 도입을 시도하는 움직임이 있었지만, 그때마다 업계에서는 (ATT 인수 이전 시기에는) "굳이 그럴 필요가 없다. 우리는 필요한 것을 모두 갖추고 있고, 최적화도 가능하며, 모든 것이 잘 작동하고 있는데, 왜 굳이 바꿔야 하느냐"는 반응이 지배적이었습니다 

그러니까 당신 말씀대로라면, 이걸 사용하고 실천하는 사람들이 통찰력을 얻고, 가치를 창출하고, 어떤 경우에는 의심을 확인하고, 또 어떤 경우에는 광고 투자 방식을 바꿀 만한 새로운 정보를 발견하기도 한다는 거죠. 아니면 단순히 추측만 하던 것을 확인하는 경우도 있고요.

세 번째로 말씀하신 내용이 정말 흥미로웠는데, 지금 바로 자세히 살펴보고 싶은 것은 여러 측정 지표를 사용할 때 무엇이 ​​진실인지에 대한 우려입니다. 제가 존경하는 최고 수준의 모바일 마케터 몇 분께서도 같은 우려를 표하셨습니다 

그건 예전부터 제기되어 온 질문이죠? 시계가 두 개 있으면 시간이 다르니까 몇 시인지 알 수 없잖아요? 어느 시계가 진짜인지 알 수 없는 거죠. 하지만 시계가 하나만 있으면 그냥 그걸 받아들이게 돼요. 그게 현실이고, 기본 현실이니까요. 

그리고 말씀하신 것처럼 이러한 측정 방식을 추가해도 혼란이 가중되거나 상황이 더 어려워지지 않고 오히려 더 단순해졌다는 점에 대해 좀 더 자세히 살펴보겠습니다. 

이 측정 방법론은 고객에게 어떤 방식으로 적용될 수 있을까요?

에란 프리드먼:

네, 정말 좋은 질문입니다. 저희가 그동안 많은 글을 쓰고 고객들과 이야기를 나누면서 강조해 온 전략이나 접근 방식과도 밀접한 관련이 있습니다. 결국 모든 것은 고객의 기대치와 필요한 사용 사례에 달려 있다고 생각합니다. 

만약 마케터들이 MMM을 활용하여 크리에이티브나 서브 캠페인을 최적화하려고 한다면, 매우 어려울 것입니다. 일부 마케터들이 이러한 접근 방식을 통해 세부적인 최적화를 시도했지만, 결과가 완전히 잘못되었거나, 어트리뷰션 결과를 그대로 따라가는 지나치게 구체적인 결과에 그쳐 큰 가치를 얻지 못했습니다. 제 생각에는 이러한 접근 방식들이… 저희 생각에는 잘못된 접근 방식이었을지도 모릅니다. 

하이브리드 측정에서 이야기해 온 것은 SKAN, Privacy Sandbox부터 사용자 수준 샘플, 증분 테스트 등에 이르기까지 다양한 데이터 세트가 존재한다는 것입니다. 그리고 각 데이터 세트는 서로 다른 사용 사례를 가지고 있으며, 각기 다른 질문에 대한 답을 제공하는 데 있어 서로 다른 통찰력을 제시해야 합니다. 

따라서 캠페인 최적화를 위해 최고의 데이터 세트를 사용하고 있을 수도 있고, 실제 운영 업무는 디지털 최종 클릭 기반 프레임워크에 의존하고 있을 수도 있습니다. 

하지만 다음 분기 예산을 계획하거나 리마케팅 ​​활동이 전체적인 성과에 미치는 영향을 파악하려는 경우, 라스트 클릭 분석에는 몇 가지 단점이 있습니다. 인플루언서 캠페인의 효과나 바이럴 효과, 또는 채널 간의 상호 작용 효과를 제대로 파악하기가 매우 어렵기 때문입니다. 

바로 그 점에서 MMM이 크게 빛을 발합니다. 

고객이 MMM을 활용해야 하는 다양한 사용 사례를 이해하게 되면 모든 것이 훨씬 더 명확해집니다. 고객은 채널별 결과의 차이를 실제로 확인하고 그 원인이 무엇인지 이해하게 됩니다. 예를 들어, 마지막 클릭 기반 타겟팅(LCB)의 개념과 그 편향성, 그리고 장점을 이해하고 MMM 방법론과 채널 전략 또는 거시적 관점에서 비교해 보면, 분명히 차이점을 발견하게 될 것입니다. 

하지만 그런 맥락을 알게 되면 갑자기 모든 게 이해되고, 실제로 운영 결과도 다른 시각으로 바라보게 되죠. 왜냐하면 어떤 정보가 부족했는지도 알게 되니까요. 

그렇게 하면 본질적으로 더 나은 결정을 내릴 수 있게 됩니다. 

요약하자면, 모든 것은 각 데이터 세트의 사용 사례 맥락에 따라 달라집니다. 그리고 적절한 기대와 이해를 바탕으로 사용하는 것이 중요합니다. 결국, 첫 번째 질문인 '쉬운 방법'에 대한 답과 연결지어 말씀드리자면, 우리가 투자한 모든 것을 활용하면 결과를 얻는 것이 확실히 쉬워졌다고 생각합니다. 

핵심 과제는 교육적 측면, 훈련적 측면, 즉 언제 무엇을 사용해야 하는지, 그리고 이들을 어떻게 조화롭게 사용해야 하는지에 대한 사고방식을 심어주는 것입니다. 그런데 놀랍게도, 첫 번째 피드백에서 참가자들이 각각의 사용법을 훨씬 잘 이해하게 되었다는 점을 알게 되었습니다.

존 쿠치어:

앞을 내다봅시다. 미래를 바라봅시다. 

베타 버전을 출시하셨고, 고객들이 사용하고 있으며, 긍정적인 피드백을 받고 있습니다. 다음 단계는 무엇인가요? 추가하고 싶은 데이터 포인트가 있나요? 또는 추가 기술이 있나요? 모든 것은 끊임없이 진화하고 있으니, 어느 정도는 자연스러운 현상이라고 생각합니다. 하지만 앞으로 이 제품이 어떤 방향으로 나아갈 것이라고 예상하시나요? 더 큰 그림에서 추가하고 싶은 부분이 있나요?

에란 프리드먼:

네, 정말 많은 계획이 있습니다. 이 제품은 엄청난 잠재력을 가지고 있으며, MMM 보고서를 통해 얻을 수 있는 다양한 활용 사례와 인사이트가 있다고 생각합니다. 

이러한 기능 중 일부는 이미 말씀드린 내용입니다. 하이브리드 측정 방식, MMM 보고서와 다른 보고서 간의 비교 기능, 그리고 다양한 질문이나 사용 사례에 맞춰 보고 및 사용 편의성을 최적화하는 기능 등이 있습니다. 따라서 이러한 부분에 지속적으로 투자하고 있습니다. 

MMM에는 예산 배분 최적화와 같이 기존 측정 방법론에서는 찾아볼 수 없었던 다양한 활용 분야가 있습니다. 오픈 소스 프레임워크는 이러한 분야에서도 훌륭한 도구와 시각화, 보고 기능을 제공하며, 이러한 기능들을 저희 제품에도 추가할 수 있습니다. 더 나아가, 저희는 MMM을 더욱 쉽고 편리하게 사용할 수 있도록 지속적으로 개선해 나갈 계획입니다. 

그래서 저희가 고려하는 몇 가지 분야는 바로 이런 것들입니다.

존 쿠치어:

정말 흥미로운 말씀이시네요. 첫 번째 요점을 들으니 보고서 작성 방식, 대시보드에 들어왔을 때 어떤 모습일지 생각해 보게 됩니다. 그 부분은 계속 변화하고 발전하죠. 또한, 누구이고 어떤 질문에 대한 답을 찾고자 하는지에 따라 달라지기도 하고요. 마지막 클릭과 MMM을 비교하고 싶다면 어떻게 해야 할까요? 어떻게 구현해야 할까요? 사과와 오렌지처럼 완전히 다른 두 가지이지만, 같은 과수원에서 나온 사과와 오렌지처럼 말이죠.

에란 프리드먼:

음흠.

존 쿠치어:

도전 과제가 많았지만 정말 흥미로웠습니다… 그리고 악명 높게 까다로운 이 프레임워크에 적어도 약간의 편의 기능이 있다는 게 정말 다행입니다. 에란, 정말 감사합니다.

에란 프리드먼:

네, 존, 다시 초대해 주셔서 감사합니다. 여기서 이야기하는 건 언제나 즐겁습니다.