ETL de Marketing: por que os profissionais de marketing precisam se importar com ETL autêntico

Eu entendo. Eu realmente entendo. Você quer insights, dados acionáveis, a melhor ação a ser tomada , agora mesmo. Você não se importa muito com ETL de marketing, ou, francamente, com qualquer " como" . Você sabe o porquê (crescimento) e precisa do quê (aumentar isso, diminuir aquilo, mudar alguma coisa), mas a mecânica do "como" é problema de outra pessoa.

Engenheiros.

Analistas.

Cientistas de dados (que às vezes parecem zeladores de dados) e todas as outras pessoas realmente técnicas das quais dependemos. 

O objetivo deste post é simples: convencê-lo de que o como importa, que o ETL de marketing contínuo é o como você deseja e que escolher o como é imensamente, massivamente, enormemente vantajoso para você.

Ou seja: melhora sua vida. Te rende elogios. Economiza dinheiro para sua empresa. Fornece dados melhores, mais recentes, mais limpos e mais precisos. Evita erros. Evita constrangimentos. Te garante uma promoção. E — provavelmente ainda mais importante — faz com que seus desenvolvedores e cientistas de dados não te odeiem. (Isso é bom porque é péssimo ser odiado, mas também é bom porque as pessoas ajudam quem elas não odeiam. E você precisa da ajuda delas. Precisa mesmo.)

ETL de marketing: 30 segundos sobre por que é importante

Por mais que você tenha tentado evitar aprender sobre isso, você meio que já sabe por osmose que ETL significa Extrair, Transformar e Carregar . Trata-se de pegar dados de um lugar, fazer algo pouco glamoroso, mas aparentemente extremamente importante para eles, e colocá-los em outro lugar.

Bem simples, né?

Claro. 

Para obter os melhores resultados de marketing possíveis, você precisa de muitos dados. Especificamente, você precisa de:

1. Dados de entrada: custos, campanhas
2. Dados de entrega: impressões, cliques, engajamento
3. Dados de conversão: instalações, conversões e muito mais
   1. Nível de usuário onde for legal/ético/disponível
   2. Dados agregados de múltiplas fontes

Isso significa que você está interagindo com muitos sistemas diferentes, incluindo suas próprias soluções de análise e operações em tempo real, o SKAdNetwork , o Privacy Sandbox no Android no futuro, mas principalmente com parceiros de publicidade e marketing: as redes de anúncios nas quais você está investindo dinheiro.

E isso não é tão fácil quanto pode parecer.

Por que?

Aqui está apenas um exemplo com o que os sistemas ETL de marketing precisam lidar: as tabelas e os campos associados aos anúncios do Facebook. Em termos técnicos, isso é um DER, Diagrama de Entidade-Relacionamento. Não é preciso ser um especialista em dados para perceber que existem muitas entidades com muitos relacionamentos (obrigado FiveTran pela imagem):

Adivinha?

Esse é apenas um dos seus inúmeros parceiros de marketing. Há também o Google. Há o Twitter, TikTok, Snap, ironSource, Liftoff, Moloco, AppLovin e milhares de outros parceiros de publicidade em potencial que você pode querer experimentar. No entanto, não se trata apenas da quantidade de parceiros de marketing. Em muitos casos, os esquemas não são bem definidos ou documentados. Em outros, você nem consegue acessá-los sem permissão especial.

Obter todos esses dados em seus sistemas de BI é difícil. Se você deseja obter todos os dados brutos possíveis para gerar os melhores insights sobre o que está funcionando (ou não), precisa centralizá-los, torná-los consumíveis, acionáveis ​​e acessíveis.

Obviamente, obter esses dados de um provedor de análises de marketing como Singular é muito melhor do que coletá-los por conta própria. Isso porque Singular já fez todo o trabalho e facilitou o processo. Afinal, você precisa de todas essas informações, mesmo que queira apenas testar um novo parceiro a fundo.

Então, ETL é a resposta?

Claro… mas não qualquer ETL. Porque dados de marketing não são quaisquer dados.

Os dados de marketing não são como outros dados, e as soluções tradicionais não funcionam. Eis porquê…

Dados de marketing são difíceis. Muito difíceis.

Para obter todos os dados realmente necessários em seu sistema de BI por meio de APIs ou exportações — mesmo do Singular — seus desenvolvedores e cientistas de dados devem:

• Crie pipelines que utilizem múltiplos endpoints para obter dados agregados
• Gere um endpoint e um protocolo de ingestão para dados em nível de usuário

A maioria dos fornecedores de análises de marketing, incluindo parceiros de mensuração mobile , oferece suporte a exportações diárias, e a maioria das MMPs também disponibiliza dados por meio de postbacks em tempo real.

Exportar os dados é a opção mais fácil, mas, ao escolher esse método, sempre existe a possibilidade de atrasos ou entregas parciais, devido a problemas enfrentados pelos parceiros de publicidade (como todos). Se optar por postbacks, você precisa ingeri-los. Postbacks são vantajosos por serem em tempo real, mas também problemáticos porque, em caso de falhas nos sistemas e queda do endpoint, os dados são perdidos e nunca mais recuperados. Aliás, desenvolver soluções em tempo real é caro e complexo. É necessário escalabilidade massiva ou a capacidade de escalonamento dinâmico, pois em um dia tudo parece estar bem e, no dia seguinte, a Apple destaca sua marca, uma grande campanha paga é lançada e um influenciador do TikTok a promove.

Mas os seus sistemas têm escala infinita e nunca param de funcionar, certo?

Como os desenvolvedores e cientistas de dados detestam perder dados — e você também, pois o desempenho do seu trabalho depende de dados precisos, oportunos e completos — eles acabam escrevendo código tanto para exportações quanto para requisições.

Isso é péssimo porque dá trabalho extra.

Para exportações, você precisa realizar algumas configurações manuais inicialmente, depois das quais espera que tudo funcione automaticamente. Mas você ainda é responsável por carregar os dados, transformá-los e garantir sua confiabilidade. 

E para que as APIs funcionem, você precisa:

• Configure processos automatizados
• Acessar pontos de dados
• Baixar dados
• Carregar dados
• Transforme os dados nos formatos que você preferir
• Salve localmente

Eis a má notícia: tudo isso é a parte fácil. 

Os postbacks são mais difíceis, não apenas porque exigem processamento em tempo real e disponibilidade de 100%, mas também porque há muitas métricas e APIs novas o tempo todo, especialmente nos últimos tempos graças ao SKAdNetwork e — agora em versão beta pública — ao Privacy Sandbox no Android.

Sempre que algo muda, os dados param de funcionar para você como profissional de marketing. Seu sistema de BI para de funcionar. Seus modelos param de funcionar. Sua capacidade de tomada de decisões fica comprometida. E agora você precisa recorrer aos seus desenvolvedores e cientistas de dados, chamar a atenção deles, interromper o que quer que estejam fazendo no momento e implorar para que alterem as chamadas de API, ajustem o código de ingestão e reescrevam o código de transformação.

Lamento trazer (mais) más notícias, mas uma das principais razões pelas quais os dados de marketing não são como outros dados é que o esquema de cada fornecedor de tecnologia publicitária é extremamente suscetível a mudanças:

• Novas versões
• Novas hierarquias
• Novas métricas
• Novos tipos de anúncios

Você sabe que mobile e publicidade digital são dois dos que mais se transformam. Junte os dois e o impacto é exponencial. Em um sentido muito real, você não está apenas navegando por um labirinto de dados, você é um verdadeiro Maze Runner resolvendo um quebra-cabeça em movimento. E fazer alterações em um sistema baseado em APIs/exportações/postbacks exige mudanças significativas e contínuas no código, novas maneiras de unir dados e mais tempo de desenvolvimento.

Depois de todo esse trabalho, com seus cientistas de dados e desenvolvedores desistindo frustrados, mas você feliz por ter os dados necessários, começa a se perguntar: devo usar os dados agregados nas exportações ou os dados em nível de usuário nos postbacks? Ou devo combiná-los de alguma forma sofisticada para revelar os pontos obscuros do desempenho dos meus aplicativos? 

(E sabe de uma coisa? Não existe uma maneira fácil ou direta de fazer isso acontecer: não há garantias de que seus dados em tempo real se conectem facilmente com seus dados de exportação. Por exemplo, unir dados do SKAdNetwork com dados de campanhas de marketing é, no mínimo, complexo e, no máximo, extremamente difícil.)

Nesse ponto, você pode começar a questionar suas escolhas de vida, juntamente com sua equipe de dados.

E... ainda nem falamos sobre dados de custo, dados de veiculação de campanhas ou eventos e interações no aplicativo, que são realmente necessários, juntamente com seus dados agregados de cliques e conversões e quaisquer dados de nível de usuário disponíveis por meio de seus parceiros.

Então… o que você realmente precisa é de um ETL de marketing totalmente gerenciado que entenda todos os esquemas de todos os seus parceiros imediatamente. Um sistema no qual você possa simplesmente selecionar os novos campos, alterar a tabela de destino e — clicar no botão Fácil — pronto. Isso simplifica enormemente suas tarefas de configuração inicial e reduz drasticamente seus custos contínuos de manutenção.

Mas você precisa saber: o ETL tradicional simplesmente não vai funcionar.

Porque existe outro motivo pelo qual os dados de marketing não são como outros dados…

Mas espere, fica ainda melhor (ou, por que você precisa de ETL para marketing)

Durante todo esse tempo e por todo esse trabalho massivo (e contínuo), você provavelmente cometeu um erro completamente compreensível, mas também devastador: presumir que os dados que suas chamadas de API e exportações recebem de seus 37 parceiros de publicidade diferentes estão corretos.

Ops.

Na maioria das vezes, os dados estão incorretos.

Na verdade, isso não é culpa dos seus parceiros de publicidade e, aliás, nem é problema deles. É uma consequência do mundo real.

Se você criar uma API para obter dados e gerenciá-la, precisará escolher um momento para acionar a solicitação desses dados. Naturalmente, você preferirá escolher um momento pouco antes de usá-los, pois deseja os dados mais recentes e completos. Isso faz todo o sentido para você, mas não tem nenhuma relação com os planos, necessidades, tecnologias e cronogramas dos seus parceiros. 

Existem muitas variáveis ​​envolvidas:

• Quando os dados subjacentes são preenchidos
• Quando cada um dos parceiros disser que 31 de agosto se transforma em 1º de setembro (será às 21h no seu horário local, 15h ou 1h da manhã para vocês?),
• É EUA ou EUA ou Estados Unidos da América?
• "Adset" é o mesmo que "adgroup"... ou não?
• Quando Singular terminar de coletar os dados
• Quando Singular terminar de processar os dados
• Quando Singular terminar de enriquecer os dados

E isso é apenas o começo. Também é possível que:

• Há um erro nos dados do parceiro
• Existem penalidades e/ou descontos por fraude que eventualmente alterarão os dados
• Há atrasos nos dados de uma ou mais regiões, que serão atualizados amanhã
• Existem taxas adicionais para serviços prestados posteriormente, cobradas por um ou mais de seus parceiros

As redes de publicidade atualizam continuamente seus dados com base na melhor percepção que têm da realidade, o que significa que editores fraudulentos podem ser expulsos de uma plataforma de oferta, impactando cliques e conversões de dias ou semanas atrás. Ou podem ser descobertos erros, afetando a confiabilidade dos dados de semanas ou meses atrás. (Isso nunca aconteceu antes, certo?) Se eles alterarem algo retroativamente, você tem um problema. Os dados que você coletou estavam atualizados e presumivelmente corretos no momento da coleta, mas agora a realidade é diferente. 

Como era de se esperar, a coordenação e a resolução de tudo isso constituem um processo e um desafio contínuos, enormes e complexos.

Por que você precisa de ETL contínuo, e não apenas de ETL?

Existe, claro, uma maneira de resolver essa bagunça, evitar o incômodo e alcançar um mínimo de sanidade e tranquilidade zen na sua vida profissional. (Um mínimo . Não seja ganancioso.) Uma maneira de obter todos os dados necessários, garantindo que sejam utilizáveis ​​e que cheguem aonde são necessários.

Obter os dados necessários de um fornecedor de análises de marketing é bom e importante. Obtê-los por meio de ETL (Extração, Transformação e Carga) também é bom e importante. 

Mas o ETL básico e o ETL tradicional — mesmo de um fornecedor de análise de marketing ou MMP — são insuficientes. 

O que você realmente precisa é de um ETL contínuo desenvolvido especificamente para profissionais de marketing, pensado especialmente para fornecedores de tecnologia publicitária.

Existem 6 "todos" aqui que importam. 

O ETL do Singular obtém:

1. Todos os seus dados de nível de usuário
2. Todos os seus dados agregados
3. Todos os seus dados de custos
4. De todos os seus parceiros de marketing
5. Além de todas as suas informações sobre conversão e engajamento no aplicativo para enriquecimento…
6. E — muito importante — todas as atualizações de dados históricos.

O ETL de marketing da Singulardeposita todas essas informações em seus sistemas de BI sem esforço, prontas para uso. Mas o ETL Singular não se limita a carregar todos esses dados como se fosse uma exportação CSV tradicional: ele obtém todos os novos dados, enriquece todos os novos dados e carrega todos os novos dados.

Tarefas do pipeline de dados de marketing	Marketing ETL Singular	ETL legado
Obter os dados. Implementar todas as APIs. Ingerir todos os dados (mesmo por meio de raspagem, se necessário).	✅	✅
Normalizar os dados. Normalizar e padronizar todos os dados de todas as redes de publicidade, incluindo: Dados agregados, Dados de nível de usuário, Dados SKAN e muito mais…	✅	❌
Gerenciar o tempo: Quando extrair os dados de cada fonte e quando enviá-los para os destinos desejados.	✅	❌
Enriquecer e corrigir Monitore, corrija e enriqueça os dados de todas as suas fontes de tecnologia de anúncios em tempo quase real.	✅	❌
Atualização retroativa de dados: Garanta que os dados alterados em até 30 dias sejam atualizados de forma integrada e completa.	✅	❌

O ETL contínuo do Singulartambém atualiza dados antigos. Isso é crucial: se algo em seus custos ou conversões mudar em relação a 3 dias ou 3 semanas atrás, essa mudança será refletida nos seus dados mais recentes. Mesmo quando você recebe dados regularmente ao longo do dia, o ETL contínuo garante que você sempre tenha os dados mais atualizados de hoje e de ontem (e até 30 dias atrás). Melhor ainda, Singular também é meticuloso com a visibilidade do ETL: comunicando o status dos dados do ETL. Isso significa que você sempre sabe o quão atualizados seus dados estão, se há algum problema, se faltam componentes e assim por diante.

Singular cuida disso automaticamente.

Em outras palavras: simplesmente funciona .

Mesmo que — devido a erros ou alterações nas definições de eventos de marketing — os dados históricos precisem ser alterados, o ETL contínuo pode replicá-los em seus sistemas. Isso representa uma enorme economia de tempo e elimina muitas dores de cabeça. É uma carga de trabalho para sua equipe e, portanto, um alívio para você.

Se você não tiver um processo ETL contínuo, literalmente terá dados ruins. 

Sua "única fonte de verdade" não é realmente verdadeira. E as decisões que você tomar com base nesses dados incorretos serão menos otimizadas do que poderiam ser se você conhecesse a verdade. Isso significa, é claro, que você desperdiçará dinheiro. Você gastará demais ou de menos. Você alocará o orçamento de forma inadequada entre os parceiros.

No fim das contas, você não agirá com a inteligência que provavelmente deveria.

O ETL de marketing da Singular vai literalmente salvar sua equipe

Então… já estabelecemos que, se você deseja ter todos os seus dados de marketing em sua área de BI de marketing, precisa de ETL. E que precisa especificamente de marketing . E que realmente precisa de ETL contínuo para manter tudo atualizado.

Adquirir isso vai literalmente salvar sua equipe.

E talvez você também.

Lembra daquele diagrama de entidade-relacionamento que mostrava as tabelas e os campos na arquitetura do Facebook Ads? Aqui está outro para o Apple Search Ads.

Se você adquirir uma solução ETL pronta para uso que não seja especificamente voltada para marketing, precisará considerar cada um desses diagramas ER de cada um de seus parceiros.

(Você pode pensar: na verdade, não eu: eu sou da área de marketing. Mas alguém da sua equipe é. Alguém da área de desenvolvimento e ciência de dados. E cada momento que essa pessoa gasta implementando isso — e atualizando quando, inevitavelmente, um parceiro altera alguns campos — é um momento que ela não está dedicando a ajudar você a criar um aplicativo melhor ou aprimorar suas estratégias e insights de crescimento.)

E eles ainda virão até você, porque são engenheiros ou cientistas de dados, e provavelmente não sabem o que cada campo nos dados do Snapchat, Twitter ou Moloco significa, e como eles se correlacionam entre si, então eles vão te perguntar. Esse é um conhecimento incrivelmente especializado, diferente para cada fornecedor, e compreendido apenas por alguns que combinam o conhecimento de marketing de performance com a mentalidade de um desenvolvedor. Lembre-se: a maioria dos produtos de ETL que não são especificamente voltados para marketing são produtos prontos para uso. São soluções padronizadas. Eles suportam apenas algumas fontes: talvez de 200 a 300, com apenas cerca de 50 delas em martech e adtech. (Singular suporta literalmente milhares.) Eles não normalizam os dados do Meta, Google, Snapchat, TikTok e LinkedIn para que você possa comparar maçãs com maçãs. Eles não padronizam a nomenclatura, as tabelas e os campos para que tudo se encaixe e faça sentido.

Toda a responsabilidade de fazer tudo certo recai sobre você. 

(E seu analista de dados. E seus engenheiros.)

Um dos resultados é que, embora as ferramentas genéricas de ETL sejam geralmente muito boas nas etapas de Extração e Carga (E e L), a etapa de Transformação (Transform) está praticamente ausente. E adivinhe quem tem que complementar as ferramentas para adicionar essa funcionalidade crítica de volta?

Você e sua equipe.

(Frequentemente com custo adicional e ferramentas extras.)

Além disso, as ferramentas típicas de ETL são incentivadas e precificadas para fornecer o máximo de dados brutos possível. E os fornecedores de nuvem estão perfeitamente alinhados com isso: mais dados, mais linhas, mais armazenamento… e muito mais transformação, normalização e padronização por sua conta e risco. 

Tudo isso…

1. Ninguém da sua equipe deveria estar envolvido com isso em seu trabalho principal, e por isso
2. Inevitavelmente acaba dando errado de uma forma ou de outra, e
3. Requer manutenção contínua
4. Prejudica seus dados de marketing e, portanto, sua capacidade de crescimento
5. Isso desvia a atenção da sua missão principal

A solução é um sistema ETL de marketing contínuo, fornecido por uma empresa especializada em análise de marketing

Simplesmente por fazer o que fez ao longo da última década, Singular desenvolveu uma funcionalidade única e diferenciada: ETL de marketing.

Os profissionais de marketing são nossos clientes. Já estamos integrados a milhares de parceiros de publicidade e plataformas de marketing, e já coletamos todos os dados que eles geram ao executar suas campanhas. Já extraímos tudo para apresentar aos profissionais de marketing e já transformamos tudo no pipeline da Singular para garantir que todas as moedas, datas, formatos, estruturas, convenções de nomenclatura, enriquecimento e modelagem sejam padronizados em todos eles.

Singular não oferece um ETL genérico:

• Obter dados da localização X
• Faça a transformação Y nele
• Deposite os dados na localização Z

Singular oferece ETL de marketing, com exatamente o que você precisa, exatamente como você precisa. Todos os dados de dezenas de tabelas e centenas de campos, multiplicados por milhares de parceiros, são organizados, simplificados e prontos para seus sistemas de BI. E todas as atualizações de cada um dos parceiros são gerenciadas de forma integrada. Além disso, o processo de carregamento de dados é otimizado, garantindo que sempre os melhores dados possíveis para alimentar seus modelos de crescimento.

Seus engenheiros, desenvolvedores e cientistas de dados entenderão isso.

Mas você também ganha isso, certo?

Como profissional de marketing, você depende da sua equipe para realizar o seu trabalho. Você depende das informações que eles fornecem: os dados que fundamentam suas decisões.

Quanto mais tempo eles puderem dedicar a trabalhos produtivos e menos tempo tiverem que desperdiçar com tarefas de organização e limpeza de dados, melhor poderão desempenhar suas funções.

E isso significa que você também pode fazer o seu melhor.

Como obter ETL de marketing da Singular

Fale conosco.

Já temos dezenas de grandes clientes usando nosso produto de ETL para marketing e economizando tempo e dinheiro com ele. Ficaremos felizes em conversar com você, entender suas necessidades, seus processos e seus objetivos, e mostrar como o ETL para marketing da Singular pode ajudar.

Reserve um horário hoje mesmo.