Marketing ETL: por que os profissionais de marketing precisam se importar com o ETL autêntico

Entendo. Eu realmente entendi. Você deseja insights, dados acionáveis, que deseja a próxima melhor ação , agora. Você realmente não se importa com o marketing ETL, ou francamente, sobre qualquer particular como . Você sabe o porquê (crescimento) e precisa o quê (aumente isso, diminua isso, mude outra coisa), mas a mecânica de como é o problema de outra pessoa.

Engenheiros.

Analistas.

Os cientistas de dados (que às vezes se sentem zeladores de dados) e todas as outras pessoas verdadeiramente técnicas em quem confiamos. 

O objetivo deste post é simples: convencê -lo de que o modo como é importante, que o ETL de marketing contínuo é como você deseja e que escolher a maneira certa de como é imensamente, massivamente, enormemente a seu favor.

Como em: Torna sua vida melhor. Leva os atos-meninos. Economiza dinheiro da sua empresa. Fornece dados mais bem-precursores de limpeza melhor. Salva você dos erros. Peças de reposição você embaraço. Ganhe a promoção para você. E - provavelmente ainda mais importante - faz com que seus desenvolvedores e cientistas de dados não te odeiem. (Isso é bom porque é péssimo ser odiado, mas também é bom porque as pessoas ajudam as pessoas que não odeiam. E você precisa da ajuda deles. Você realmente faz.)

ETL de marketing: 30 segundos sobre por que isso importa

Por mais que você tenha tentado evitar aprendê -lo, você sabe por osmose que o ETL significa extrair, transformar e carregar . Trata -se de retirar dados de um lugar, fazer algo indexado, mas aparentemente tremendamente importante, e colocá -los em outro lugar.

Meio simples, certo?

Claro. 

Para obter os melhores resultados de marketing possíveis, você precisa de muitos dados. Especificamente, você precisa:

1. Dados de entrada: custos, campanhas
2. Dados de entrega: impressões, cliques, engajamento
3. Dados de conversão: instalações, conversões e muito mais
   1. Nível de usuário onde legal/ético/disponível
   2. Dados agregados de várias fontes

Isso significa que você está se envolvendo com muitos sistemas diferentes, incluindo suas próprias soluções de análise e OPS ao vivo, SkadNetwork , Privacy Sandbox no Android no futuro, mas especialmente parceiros de anúncios e marketing: as redes de anúncios em que você está gastando dinheiro.

E isso não é tão fácil quanto parece.

Por que?

Aqui está apenas um exemplo com o qual os sistemas ETL de marketing precisam lidar: as tabelas e campos associados aos anúncios do Facebook. Na linguagem pontuda, é um ERD, um diagrama de relacionamento de entidade. Você não precisa saber muito sobre dados para ver que há muitas entidades aqui com muitos relacionamentos (obrigado FiveTran pela imagem):

Adivinha?

Essa é apenas uma das suas dezenas de parceiros de marketing. Há também o Google. Há o Twitter, Tiktok, Snap, Ironsource, Difulff, Moloco, Applevin e milhares de outros parceiros de publicidade em potencial que você pode querer experimentar. No entanto, não se trata apenas do número de parceiros de marketing. Em muitos casos, os esquemas não são bem definidos ou documentados. Em outros, você não pode nem acessá -los sem permissão especial.

É difícil obter todos esses dados em seus sistemas de BI. Se você deseja que todos os dados brutos possam ingerir para gerar todas as melhores informações sobre o que está funcionando (ou não), você precisa centralizá -lo, torná -lo consumível, torná -lo acionável, torná -lo acessível.

é preferível obter esses dados de um provedor de análise de marketing como Singular Porque Singular fez todo o trabalho e facilitou. Porque você precisa de tudo isso, mesmo que você queira apenas testar um novo parceiro.

Então ETL é a resposta?

Claro ... mas não apenas qualquer ETL. Porque dados de marketing não são apenas dados.

Os dados de marketing não são como outros dados, e as soluções tradicionais não o cortam. Aqui está o porquê ...

Dados de marketing são difíceis. Muito difícil.

Para obter todos os dados que você realmente precisa em seu sistema de BI via APIs ou exportações - mesmo do Singular - seus desenvolvedores e cientistas de dados devem:

• Crie dutos que usam vários pontos de extremidade para obter dados agregados
• Gerar um protocolo de extremidade e ingestão para dados no nível do usuário

A maioria dos provedores de análise de marketing, incluindo parceiros de medição mobile , suporte a exportações diárias e a maioria das MMPs também disponibiliza os dados por meio de postagens em tempo real.

As exportações são mais fáceis, mas se você escolher exportações, sempre há uma chance de que elas possam ser atrasadas ou parciais, porque os parceiros do anúncio têm problemas (todos têm problemas). Se você escolher postacks, precisará ingeri -los. Os postagens são bons porque são em tempo real, mas são ruins porque, se você tiver um problema (repita: todo mundo tem problemas) e o soluço de seus sistemas e seu ponto de extremidade diminui, você perde dados e ele nunca mais volta. Ah, e, a propósito, a construção de soluções em tempo real é cara e difícil. Você precisa de uma escala enorme ou a capacidade de escalar dinamicamente, porque um dia nada está acontecendo e, no dia seguinte, a Apple apresenta você, seus grandes acertos de campanha pagos e um influenciador do Tiktok que você o eleva.

Mas seus sistemas têm escala infinita e nunca caem, certo?

Como os desenvolvedores e cientistas de dados odeiam perder dados - e você também, porque seu desempenho no trabalho depende de dados precisos, oportunos e completos - eles acabam escrevendo código para exportações e postais.

Isso é péssimo porque é um trabalho extra.

Para exportações, você tem alguma configuração manual para começar, após o que espera que seja definido e esquecido. Mas você ainda está no gancho para carregar os dados, transformá -los e garantir a confiabilidade. 

E apenas para fazer as APIs funcionarem, você precisa:

• Configurar processos automatizados
• Acesse pontos de dados
• Baixar dados
• Carregar dados
• Transforme dados em seus formatos preferidos
• Salve localmente

Aqui estão as más notícias: tudo isso é a parte mais fácil. 

Os postantes são mais difíceis, não apenas porque exigem processamento em tempo real e 100% de atividade, mas também porque existem tantas novas métricas e novas APIs o tempo todo, especialmente recentemente graças ao SkadNetwork e- agora na Beta Public -Sandbox Privacy no Android.

Toda vez que algo muda, os dados quebram para você como profissional de marketing. Seu bi quebra. Seus modelos quebram. Sua capacidade de tomada de decisão quebra. E agora você precisa voltar aos seus desenvolvedores e cientistas de dados, chamar a atenção deles, tirá -los do que eles estão trabalhando agora e implore que alterem as chamadas da API, ajustem o código de ingestão, reescreva o código de transformação.

Lamento ser o portador de (ainda mais) más notícias, mas uma das principais razões pelas quais os dados de marketing não são como outros dados é que o esquema de cada fornecedor da adtech é extremamente propenso a mudar:

• Novas versões
• Novas hierarquias
• Novas métricas
• Novos tipos de anúncios

Você sabe que mobile e o AdTech são dois dos espaços de mudança mais rápida. Junte -os e o impacto é exponencial. Em um sentido muito real, você não está apenas navegando em um labirinto de dados, é um corredor do Maze , navegando em um quebra-cabeça em movimento. E fazer alterações em um sistema baseado em APIs/exportações/postagens requer alterações contínuas significativas para o código, novas maneiras de ingressar em dados e mais tempo do desenvolvedor.

Depois de fazer todo esse trabalho e seus cientistas e desenvolvedores de dados desistiram de nojo, mas você está feliz porque tem os dados necessários, você começa a se perguntar: devo usar os dados agregados nas exportações ou os dados no nível do usuário nos postagens? Ou devo combiná -los de uma maneira chique para iluminar os cantos mais escuros do desempenho dos meus aplicativos? 

(E adivinhe: não há uma maneira fácil ou direta de fazer isso acontecer: não há garantias de que seus dados em tempo real se conectem facilmente aos seus dados de exportação. Por exemplo, unir os dados do SkadNetwork com dados de campanha de marketing não é trivial, na melhor das hipóteses, extremamente difícil.)

Neste ponto, você pode começar a questionar suas escolhas de vida junto com sua equipe de dados.

E ... ainda nem conversamos sobre dados de custo, ou dados de entrega de campanha, ou eventos e compromissos no aplicativo, todos os quais você realmente precisa, juntamente com seus cliques agregados e dados de conversão e quaisquer dados em nível de usuário disponíveis em seus parceiros.

Então ... o que você realmente precisa é de um ETL de marketing totalmente gerenciado que entenda todos os esquemas de todos os seus parceiros fora da caixa. Um em que você pode simplesmente selecionar os novos campos, alterar a tabela de destino e - pressionar o botão fácil - está pronto. Isso simplifica enormemente as tarefas iniciais de configuração e reduz maciçamente os custos de manutenção contínuos.

Mas você precisa saber: o ETL tradicional simplesmente não vai cortar.

Porque há outra razão pela qual os dados de marketing não são como outros dados ...

Mas espere, fica melhor (ou por que você precisa de ETL de marketing)

Todo esse tempo e, para todo esse escopo massivo (e contínuo) do trabalho, você provavelmente está cometendo um erro completamente compreensível, mas também completamente devastador: assumindo que os dados que suas chamadas e exportações de API estão recebendo de seus 37 parceiros de anúncios diferentes.

Opa.

Na maioria das vezes, os dados não estão corretos.

Essa não é realmente a culpa de seus parceiros de anúncios e, na verdade, nem mesmo o problema deles. É uma função do mundo real.

Se você criar uma API para obter dados e estiver gerenciando, precisará escolher um horário em que acionará uma chamada para os dados. Não é chocantemente, você gostaria de escolher um tempo antes de usá -lo, porque deseja os dados mais frescos e completos. Tudo isso faz sentido do seu lado, mas não tem nenhum relacionamento com os planos, necessidades, tecnologias e horários de seus parceiros. 

Existem muitas variáveis ​​envolvidas:

• Quando os dados subjacentes são preenchidos
• Quando cada parceiro diz que 31 de agosto se transforma em 1º de setembro (é às 21h da sua hora local, 15:00 ou 1 da manhã?)
• Somos nós ou nós ou EUA?
• "ADSET" é o mesmo que "Adgroup" ... ou não?
• Quando Singular terminar de puxar os dados
• Quando Singular terminou de processar os dados
• Quando Singular terminou de enriquecer os dados

E mesmo isso é apenas o começo. Também é possível que:

• Há um erro nos dados do parceiro
• Há penalidades e/ou descontos que acabarão por mudar os dados
• Existem atrasos de dados de uma ou mais regiões que serão atualizadas amanhã
• Existem taxas adicionais para serviços após o fato de um ou mais de seus parceiros

As redes de anúncios atualizarão continuamente seus dados com base em seu melhor senso contínuo do que é a realidade, e isso significa que os editores fraudulentos podem ser expulsos de uma plataforma lateral de suprimentos, impactando cliques e conversões por dias ou semanas no passado. Ou bugs podem ser descobertos, impactando a confiabilidade dos dados por semanas ou meses no passado. (Isso nunca aconteceu antes, certo?) Se eles mudarem de algo retroativamente, você tem um problema. Os dados que você puxou foram atualizados e presumidos precisos no momento em que você o puxou, mas agora a realidade parece diferente. 

Não é chocantemente, a coordenação e a remediação de tudo isso é um processo e desafio contínuos e confusos.

Por que você precisa de ETL contínuo, não apenas ETL

É claro que existe uma maneira de consertar essa bagunça, evitar o aborrecimento e experimentar um grau de sanidade e calma zen em sua vida profissional. (Um diploma . Não fique ganancioso.) Uma maneira de obter todos os dados necessários, garantindo que seja utilizável e garantindo que ele chegue onde é necessário.

Obter os dados que você precisa de um provedor de análise de marketing é bom e importante. Consegui -lo via ETL é bom e importante. 

Mas o ETL básico e o ETL tradicional - mesmo de um fornecedor de análise de marketing ou MMP - é insuficiente. 

O que você realmente precisa é o ETL contínuo construído especificamente para profissionais de marketing, construído especificamente com os fornecedores da AdTech em mente.

Existem 6 "todos" que importam. 

ETL do Singular Gets:

1. Todos os seus dados no nível do usuário
2. Todos os seus dados agregados
3. Todos os seus dados de custo
4. De todos os seus parceiros de marketing
5. Além de todas as suas informações de conversão e engajamento no aplicativo para enriquecimento…
6. E - muito importante - todas as atualizações dos dados históricos

O ETL de marketing da Singular, em seguida, deposita tudo isso em seus sistemas de BI, pronto para você usar. Mas Singular ETL não carrega apenas todos esses dados como se fosse uma exportação de CSV da velha escola: obtenha todos os novos dados, enriquece todos os novos dados, carregue todos os novos dados.

Tarefas de pipeline de dados de marketing	ETL de marketing Singular	ETL Legacy
Obtenha os dados implementar todas as APIs ingerem todos os dados (mesmo raspando, se necessário)	✅	✅
Normalize os dados normalizam e padronizam todos os dados de todas as redes de anúncios, incluindo dados agregados dados no nível do usuário e muito mais…	✅	❌
Gerencie o tempo quando puxar os dados de cada fonte quando pressionar os dados para os destinos desejados	✅	❌
Enriqueça e corrija o monitor, corrija e enriqueça os dados de todas as suas fontes adtech em tempo real	✅	❌
Atualize os dados retroativos garantem que os dados alterados de até 30 dias no passado sejam atualizados de maneira perfeita e abrangente.	✅	❌

O ETL contínuo do Singulartambém continua atualizando dados mais antigos. Isso é extremamente importante: se algo em seus custos ou conversões mudar de 3 dias ou 3 semanas atrás, essa alteração se reflete em seus dados mais atualizados. Mesmo quando você está recebendo dados regularmente ao longo do dia, o ETL contínuo garante que você esteja sempre obtendo os dados mais atualizados para hoje e ontem (e até 30 dias no passado). Melhor ainda, Singular também é meticuloso sobre a visibilidade do ETL: comunicando o status dos dados ETL. O que significa que você sempre sabe como está atualizado seus dados, se houver algum problema, se houver componentes e assim por diante.

Singular cuida disso automaticamente.

Em outras palavras: apenas funciona .

Mesmo que-devido a bugs ou alterações nas definições de eventos de marketing-os dados históricos precisam alterar, o ETL contínuo pode propapá-lo através de seus sistemas. Este é um enorme surra de tempo e apagador de dor de cabeça. É uma carga da mente da sua equipe e, portanto, uma carga fora da sua.

Se você não tiver ETL contínuo, você literalmente terá dados ruins. 

Sua "única fonte de verdade" não é verdadeira. E as decisões que você toma com base nesses dados ruins serão menos ideais do que poderiam ser se você soubesse a verdade. Ou seja, é claro, você desperdiçará dinheiro. Você gastará demais ou submete. Você se tratará de um orçamento desalocudado entre parceiros.

Por fim, você não agirá de maneira tão inteligente quanto provavelmente deveria.

O marketing ETL do Singular salvará literalmente sua equipe

Então ... estabelecemos que, se você deseja todos os seus dados de marketing em seu BI de marketing, precisa de ETL. E que você precisa especificamente de de marketing . E você realmente precisa de ETL contínuo para manter tudo atualizado.

Obter isso literalmente salvará sua equipe.

E talvez você também.

Lembra daquele diagrama de relacionamento de entidade mostrando as mesas e campos na arquitetura de anúncios do Facebook? Aqui está outro para anúncios de pesquisa da Apple.

Se você recebe um ETL exmo que não é um ETL de marketing especificamente, deve pensar em cada um desses ERDs de cada um de seus parceiros.

(Você pode pensar: na verdade, não eu: sou um profissional de marketing. Mas alguém da sua equipe faz. Alguém em desenvolvimento e ciência de dados. E a cada momento gasta implementando isso - e atualizando -o quando, inevitavelmente, um parceiro muda alguns campos - é um momento que eles não estão gastando ajudando você a criar um melhor aplicativo ou melhorar seus insights e táticos de crescimento.

E eles ainda vão até você, porque são engenheiros ou cientistas de dados, e provavelmente não sabem o que significa cada campo nos dados do Snap ou Twitter ou Moloco e como eles se correlacionam, para que lhe perguntem. Esse é um conhecimento incrivelmente especializado, diferente para cada fornecedor, e apenas compreendido por alguns que combinam o conhecimento de um profissional de desempenho com a mentalidade do desenvolvedor. Lembre -se: a maioria dos produtos ETL que não são especificamente os produtos ETL de marketing estão fora da prateleira. Pret-a-porter. One-size-fit-All. Eles apóiam apenas algumas fontes: talvez de 200 a 300, com apenas 50 da Martech e Adtech. (SuportesSingular literalmente milhares.) Eles não normalizam o que meta e Google e Snap e Tiktok e LinkedIn relatam para que você possa comparar maçãs com maçãs. Eles não padronizam nomeação, mesas e campos para que tudo se encaixe e faça sentido.

Todo o ônus de acertar é sobre você. 

(E seu analista de dados. E seus engenheiros.)

Um dos resultados é que, embora as ferramentas genéricas de ETL sejam geralmente muito boas no E e no L (o extrato e a carga), a parte de transformação está meio que faltando em ação. E adivinhe quem consegue suplementar as ferramentas para adicionar essa funcionalidade crítica de volta?

Você e sua equipe.

(Geralmente a um custo extra com ferramentas extras.)

Além disso, as ferramentas ETL típicas são incentivadas e preços para pressionar o máximo possível de dados brutos. E os fornecedores de nuvem estão perfeitamente alinhados com isso: mais dados, mais linhas, mais armazenamento ... e muito mais transformação, normalização e padronização por sua própria moeda e seu próprio tempo. 

Tudo isso ...

1. Não deveria ser ninguém no trabalho diário da sua equipe, e então
2. Inevitavelmente é derrubado de uma maneira ou de outra, e
3. Requer manutenção continuamente
4. Prejudica seus dados de marketing e, portanto, sua capacidade de crescimento
5. Distrai sua missão principal

O ETL de marketing contínuo de uma empresa focado especificamente na análise de marketing é a resposta

Simplesmente em virtude de fazer o que fez na década passada, Singular desenvolveu uma funcionalidade única e diferenciada: marketing ETL.

Os profissionais de marketing são nossos clientes. Já estamos integrados a milhares de parceiros de publicidade e plataformas de marketing, e já ingerimos todos os dados que eles produzem ao executar suas campanhas. Já extraímos tudo para apresentá -lo aos profissionais de marketing, e já transformamos tudo no oleoduto Singular para garantir que todas as moedas, datas, formatos, estruturas, convenções de nomenclatura, enriquecimento e modelagem sejam padronizadas em todos elas.

Singular não oferece um ETL genérico:

• Obtenha dados do X Localização
• Faça a transformação para isso
• Deposite os dados em Z Localização

Singular oferece ETL de marketing, com exatamente o que você precisa, exatamente da maneira que precisa. Com todos esses dados de dezenas de tabelas e centenas de campos multiplicados por milhares de parceiros ordenadamente embalados, simplificados e prontos para seus sistemas de BI. E com todas as atualizações de todos os parceiros administrados perfeitamente. E com a progressão incorporada em todas as suas cargas de dados, garantindo que, a cada momento, você tenha os melhores dados possíveis para alimentar seus modelos de crescimento.

Seus engenheiros, desenvolvedores e cientistas de dados conseguirão isso.

Mas você entendeu isso também, certo?

Como profissional de marketing, você depende da sua equipe para fazer seu trabalho. Você depende das idéias que eles fornecem: os dados que informam suas decisões.

Quanto mais tempo eles podem gastar em trabalho produtivo e menos tempo eles precisam desperdiçar nas tarefas de zelador de dados, melhor eles poderão fazer seu trabalho.

E isso significa que você pode fazer o seu melhor também.

Como obter o marketing ETL do Singular

Fale conosco.

Já temos dezenas de clientes enormes usando nosso produto ETL de marketing e economizando tempo e dinheiro com ele. Ficaríamos felizes em conversar com você, aprender suas necessidades, seus processos e seus objetivos e compartilhar como o marketing ETL do Singular pode ajudar.

Reserve algum tempo hoje.