모바일 광고 A/B 테스트를 위한 13가지 모범 사례

모바일 광고 캠페인을 시작합니다. 엄청난 결과를 원하고, 높은 ROI와 놀라운 ROAS. 그리고 예산의 70%를 플랫폼에 교육하는 데 쓰고 싶지 않나요? 최고의 사용자를 끌어들이기 위해. 그렇다면 어떻게 A/B 테스트 최고의 광고를 찾을까요?

고려해 볼 만한 13가지 (그리고 행운을 가져다 줄!) 사항은 다음과 같습니다…

1. 그에 대한 알고리즘이 있습니다 (하지만 단서부터 시작하세요)

알고리즘이 광고의 최적 버전을 찾는 데 많은 부분을 담당한다는 것은 알고 계시겠지만, A/B 테스트를 시작하려면 기준점이 필요하다는 것도 알고 계실 겁니다. 그리고 적어도 앞으로 몇 년 동안은 여러분이 인공지능보다 조금 더 똑똑할 수도 있다는 사실도 알고 계시겠죠.

페이스북이나 구글, 또는 다른 광고 플랫폼의 머신러닝 알고리즘에만 의존하여 최적의 광고를 찾는다면 재정적인 어려움이 따릅니다. 현실적으로 이러한 플랫폼들은 이미 알고 있는 사실을 확인하기 위해 단기간에 A/B 테스트를 진행하는 데 막대한 예산을 쏟아부을 수 있습니다.

그렇다고 해서 그것들이 나쁘다는 뜻은 아닙니다. 도움이 안 된다는 뜻도 아닙니다. 사용하지 말라는 뜻도 아닙니다. 그리고 앱에 새로운 플레이어, 고객, 사람들을 유치하는 가장 좋은 방법을 찾는 데 있어 당신이 완전히 틀렸다는 것을 알게 될 가능성이 없다는 뜻도 아닙니다.

하지만 당신이 똑똑하고 어느 정도 단서가 있다고 가정해 봅시다. 지능적인 출발점에서 시작하고, 알고리즘이 당신의 테스트를 더욱 정교하게 다듬도록 맡겨보세요.

그리고 가끔은 과감하게 예상치 못한 캠페인을 몇 개 시도해 보는 것도 좋습니다. AI가 숨겨진 비장의 무기가 있는지, 핵심 고객층과 소통하는 방법에 대해 무엇을 가르쳐 줄 수 있는지 알아보기 위해서 말이죠.

2. 계획을 수립하세요

무엇을 먼저 테스트할 건가요? 테스트하고 싶은 항목 전체 목록은 어떻게 되나요? 가설은 세워두셨나요? 무작위적인 행동이 뜻밖의 피카소 작품을 만들어낼 수도 있지만, 그럴 가능성은 낮습니다. 성공적인 캠페인, 크리에이티브, 카피를 선정하는 데 활용하고자 하는 과학적 접근 방식을 어느 정도 적용하여 A/B 테스트를 시작하세요.

무슨 일이 일어날 거라고 예상하세요? (네, 일어나길 바라요.)

문서화하고, 보고하고, 반복하십시오.

3. 청중을 선택하세요

모든 사람에게 어필하고 싶지만, 모두가 구글처럼 검색 엔진 최적화(SEO)에 성공할 수는 없습니다. (심지어 구글조차도 덕덕고나 빙을 선택하는 경우가 있죠.) 가장 단순한 하이퍼캐주얼 게임조차도 이용하려는 사용자층이 다양합니다. 첫 번째 A/B 테스트에서 어떤 사용자층을 타겟으로 할지 신중하게 결정해야 합니다.

일반적으로는 가장 가치가 높을 것으로 예상되는 플레이어, 고객 또는 사람들을 대상으로 시작합니다. 추가 테스트를 진행하면서 어느 시점에는 그다음으로 가치가 높은 그룹으로 타겟팅을 변경해야 할 것입니다. 그리고 일부 그룹의 가치가 처음 예상했던 것보다 높거나 낮을 수 있다는 가능성에도 열린 마음을 가져야 합니다.

4. 한 번에 한 가지씩 테스트하세요

완전히 다른 광고 세트, 행동 유도 문구, 브랜드 약속 등으로 시작하는 것이 적절한 경우도 있습니다. 하지만 최적화 단계가 깊어질수록 A/B 테스트는 작고, 명확하며, 정량화 가능한 변화를 적용하는 것이 가장 효과적입니다.

두 가지를 동시에 바꾸면 어떤 요소가 목표 고객에게 영향을 미쳤는지 알 수 없습니다.

(물론, 여기서 좀 더 심층적으로 분석해 보면 빨간색 텍스트와 녹색 로고를 사용한 테스트 A가 녹색 텍스트와 빨간색 로고를 사용한 테스트 B보다 더 나은 결과를 보인다고 가정할 수도 있습니다. 따라서, 변화를 최소화하여 그 영향을 더 명확하게 파악하되, 진행하면서 최선의 판단을 내리는 것이 중요합니다.)

경고:

막대한 예산이나 충분한 시간이 있다면, 여러 변수를 동시에 변경할 수 있는 다변량 테스트를 고려해 보세요. A/B 테스트보다 복잡하고 비용도 훨씬 많이 들지만, 더 깊이 있는 분석 결과를 더 빠르게 얻을 수 있습니다. 단, 통계적 유의성을 확보할 수 있는 충분한 예산이 있는지 반드시 확인하세요. 다변량 테스트는 A/B 테스트보다 훨씬 어렵습니다.

5. 해당 대상 그룹에 그룹을 배정합니다

좋아요, 사실 이건 A/B 테스트 모범 사례 5번째 항목이라고 부르는 게 좀 반칙이긴 해요. 왜냐하면 엄밀히 말하면 스플릿 테스트를 마친 후에 하는 거니까요. 하지만 그렇게 크게 문제될 건 아니겠죠? (제발 그랬으면 좋겠네요.)

타겟팅한 세그먼트를 기준으로 앱에 유입되는 신규 고객/플레이어/사용자 그룹을 추적하세요. 제품/개발/운영팀과 협력하여 이들의 온보딩 및 앱 경험을 맞춤화하세요.

6. 인내심을 가지세요

기다리는 건 정말 싫어.

만약 5분 만에 드론 배달로 Chipotle을 받을 수 있다면 (it’s 실제, 약속합니다), 왜 can’t 당신은 A/B 테스트를 그렇게 빨리 할 수 없나요? 왜냐하면 그들은 개발할 시간이 필요합니다.

가장 피해야 할 것은 성급하게 승자를 선언하고 잘못된 결정을 내리는 것입니다. 이론적으로는 지출 속도를 높여 예산을 더 빨리 소진하고 결과를 더 빨리 얻을 수 있지만, 그것이 정말로 핵심을 증명하는 것일까요? 아니면 단지 아침 특정 시간이나 저녁 특정 시간에 사람들이 Y보다 X를 더 원한다는 것을 보여주는 것일까요?

차라리 시간을 좀 두고, 자리를 떠나 커피를 마시거나 게임을 하거나 다른 일을 하다가 며칠 후에 다시 돌아와 데이터를 분석하는 것이 낫습니다.

플랫폼 자체에서 해당 기능을 제공하지 않는다면, 구글에서 "A/B 테스트 유의성 계산기"를 검색하여 데이터가 충분한지 쉽게 확인하고 결과를 신뢰할 수 있는지 판단할 수 있습니다.

7. 승리를 선언하십시오. 그런 다음 새로운 전쟁을 시작하십시오.

당첨자를 찾으셨나요? 샴페인을 터뜨리고, 시가를 꺼내고, 신나는 파티 음악을 틀어보세요!.

하지만 이 모든 과정을 VR 환경에서 진행하세요. 결승선이 없고, 모든 승리는 상황에 따라 달라지며, 모든 성공은 일시적이기 때문입니다. 훌륭한 광고를 찾았다면, 곧바로 새로운 테스트 시리즈를 시작하세요.

8. 무료로 테스트해 보세요!

A/B 테스트는 비용이 많이 듭니다. 예산을 쏟아붓는 대신 더 많은 예산을 낭비하는 방법을 찾게 되죠. 하지만 완전히 처음 시작하는 단계라면 오프라인에서 무료로 테스트를 시작할 수 있습니다. 소셜 미디어에서도 일부 테스트를 무료로 진행할 수 있고요.

주의: 무료는 확장성이 떨어지고, 연역적이기보다는 귀납적이며, 확정적이기보다는 방향성을 제시합니다.

하지만 그것은 여전히 ​​가치가 있을 수 있습니다.

(상당히) 저렴하게 인사이트를 얻는 또 다른 방법은 설문조사입니다. Pollfish와 같은 도구를 이용하면 팝업 모바일 설문조사를 1인당 1달러에 진행할 수 있으므로, 300달러나 500달러를 투자하여 실제 광고 캠페인에 3,000달러나 5,000달러를 투자했을 때 얻을 수 있는 인사이트를 확보할 수 있습니다. 하지만 한 가지 주의할 점은 설문조사는 실제 광고 테스트가 아니라는 것입니다. 실제 광고처럼 광고 노출 여부를 고려하지 않아도 되기 때문입니다.

그러니 주의하세요: 결과는 개인마다 다를 수 있습니다. 상당한 기간 동안 상당한 조회수와 행동을 기록한 실제 광고가 가장 좋은 기준입니다.

결과를 선택하여 테스트하십시오. 중요한

A/B 테스트에서 클릭률을 결정적인 요소로 선택하고 싶은 유혹이 들 수 있습니다. 빠르고 명확하며, 테스트를 진행하는 플랫폼에서 바로 확인할 수 있기 때문입니다. 물론 경우에 따라서는 클릭률을 기준으로 삼는 것이 타당할 수도 있지만, 일반적으로는 매우 좋지 않은 생각입니다.

퍼널의 가장 깊은 단계까지 내려가서 변수를 테스트하세요. 앱 설치 횟수가 될 수도 있지만, 참여도, 가입, 구매 등 더 깊이 파고들수록 A/B 테스트 결과가 더 유용해집니다.

일반적인 원칙은 다음과 같습니다. 자신이 중요하게 생각하는 것을 테스트하세요. 이상적으로는 비즈니스 성공에 매우 중요한 KPI를 테스트하는 것이 좋습니다.

10. 결과에 대해 솔직하게 이야기하세요

5,000개 설치를 대상으로 한 A/B 테스트 결과에서 버전 B가 버전 A보다 1.5% 더 좋다면 문제가 있는 것입니다. 그 "개선"은 오차 범위 내에 있을 가능성이 높고, 따라서 착시 현상일 수 있습니다.

승리를 선언하고 다음 단계로 넘어가고 싶은 마음이 들겠지만, 솔직해지세요. 두 광고 모두 훌륭한 결과를 낼 수도 있고(전환율이 높다면), 완전히 실패할 수도 있습니다(사실상 빈 광고가 더 효과적일 수도 있죠).

참고 견뎌라. 백지상태에서 다시 시작해라. 상사의 조바심을 잘 참아내라.

11. 최적화할 대상을 현명하게 선택하세요

보세요. 세계는 “Azmenistan 출신 사람들이 보라색을 죽음의 색이라고 생각한다는 예시들로 가득합니다, 그래서 당신의 광고는 장례식 초대장과 같았습니다.” (왜 그렇죠, 그 이다 가짜 국가인 The Expendables 3.)

이렇게 명백하고 분명한 것은 드뭅니다.

중요한 변수들을 테스트하세요.

행동 유도, 제안, 약속, 가치 진술 등이 광고에 적합할 가능성이 높습니다. 앱이 게임이라면 주요 캐릭터가 등장하는 것이 매우 중요할 수 있습니다. 특히 비디오 광고에서는 게임 플레이를 보여주는 것이 분명히 중요합니다. 글꼴 크기, 특히 극단적인 경우 더욱 그렇습니다.

버튼 색상을 사파이어에서 하늘색으로 바꾸는 건 어떨까요? 아마 그다지 좋은 선택은 아닐 겁니다.

12. 보너스: A/B 테스트를 하지 말아야 할 때를 알아두세요

VP GrowFastNowAtAllCosts가 "전속력으로 달려라"라고 말할 때는 A/B 테스트에 2~3일을 허비할 때가 아닙니다. 광고 예산이 극히 적을 때는 실시간 A/B 테스트가 최선의 선택이 아닐 가능성이 큽니다.

애플이 브랜드 가이드라인을 너무 허술하게 적용한다고 생각하고, 마침표 하나 옮기는 데 3주나 걸린다고 비판하는 브랜드에서 일한다면… 네… A/B 테스트를 할 만한 곳이 아니죠. 게다가 최고위 임원의 의견이 다른 누구의 의견보다, 어떤 데이터보다도 더 중요한 상황이라면… 역시 A/B 테스트에 적합한 환경은 아닐 겁니다.

13. 행운의 보너스 13번: 안드로이드(그리고 이제 iOS!) 앱 리스팅에 대한 A/B 테스트를 진행하세요

훌륭해요, 광고 효과가 정말 뛰어나네요. 앱 목록 페이지로 엄청난 클릭 수와 트래픽을 유도하고 있어요.

그런데… 변환이 되고 있는 걸까요?

전환이 이루어지지 않으면 설치에 대해서만 비용을 지불하더라도 마케팅 비용이 추가됩니다. 클릭당 노출 수와 조회수가 많을수록 광고 파트너가 광고를 게재할 가능성이 낮아지므로 입찰가를 높여야 합니다.

그러니 앱 등록 페이지를 최적화하세요. 구글 플레이는 이미 오래전부터 이 기능을 제공해 왔으며, 조만간 iOS도 이 기능을 지원할 예정입니다.

한 가지 더: Apple은 출시하고 다양한 목적을 위한 App Store 목록 최적화 기능을 제공합니다. 그래서 사용자가 앱을 매우 다른 방식으로 사용한다면 — 예를 들어 핀테크 앱에서 송금과 결제를 모두 — 하나에 맞춰 마케팅을 최적화하고 해당 목적에 맞게 맞춤화된 App Store 목록을 표시하면 전환율을 높일 수 있습니다.

차세대 마케팅 측정에 도움이 필요하신가요?

세상이 뒤틀릴 때 당신이 앞서 나가도록 돕는 솔루션을 찾고 있다면 — 그리고 그 혜택을 누리고 싶다면 — 채팅을 시작하세요 Singular. 채팅 일정을 잡으세요, 그리고 우리 전문가 중 한 명이 플랫폼이 어떻게 성장 가속화를 도울 수 있는지 안내해 드릴 것입니다.