Marketing e ETL: ETL é a solução sem código para o analista de BI

Se precisar inserir dados no seu marketing data warehouse imediatamente e não puder esperar alguém escrever código para isso, Singular ETL pode ser seu melhor aliado. Extrair, transformar e carregar pode não soar superemocionante para o marketeer médio … mas ao usar marketing ETL para colocar os dados certos no lugar certo, rápido e fácil?

Bem, isso é bem emocionante.

Ou pelo menos os resultados que você pode gerar com esses dados são emocionais.

É por isso que as ferramentas ETL podem ser uma graça salvadora para o profissional de marketing moderno ou analista de BI. Porque sem código significa rápido. E rápido significa insights mais rápidos.

O ETL pode ser ainda mais rápido, na verdade, do que uma API em tempo real. (Continue lendo para descobrir por quê.)

Não é apenas porque a integração de dados em grande escala com várias fontes de dados é um grande desafio, mesmo para organizações de inteligência de negócios e tecnologia de marketing bem financiadas. É porque o Singular ETL faz mais por você do que uma API jamais poderia.

Não é comum ver um conceito criado há quase 50 anos — sim, ETL originou-se na década de 1970 — usado em pilhas de tecnologia modernas. Nossa concepção de um data warehouse ou data lake mudou muito ao longo dos anos. Hadoop e Spark não existiam na época, e dados em tempo real — ou até mesmo dados não estruturados — não eram realmente problemas.

A nuvem não existia, o Amazon Redshift nem sequer era um brilho no olho de algum engenheiro, quase nenhum fornecedor se descrevia como um integrador de dados.

Mas as boas ideias resistem ao teste do tempo, e se o seu conjunto de dados está em arquivos simples, uma fonte de dados semi-aleatória, um data warehouse ou uma ferramenta de análise, extrair dados via ETL pode ajudar.

Mesmo que uma integração de API seja algo que você eventualmente decida que precisa, as integrações levam tempo que até mesmo grandes empresas bem-financiadas nem sempre têm. Além disso, muitas vezes há um processo interno significativo a ser trabalhado antes de começar uma integração de API.

Então, como extrair, transformar e carregar podem ajudar você?

O que vamos discutir:

• ETL em poucas palavras
• Quem deve usar ETL … e por quê
• Extrair, transformar, carregar: Como funciona o ETL da Singular
• Singular ETL faz (quase) tudo
• Como os profissionais de marketing economizam tempo com ETL
• ETL e API: melhores amigos?
• ETL FTW

Mesmo que você não seja um expert em dados, provavelmente sabe que ETL é a abreviação para "extrair, transformar, carregar"

EXTRACT está extraindo dados de um banco de dados ou de várias fontes de dados. TRANSFORM está convertendo os dados extraídos de qualquer forma em que estejam armazenados atualmente para o formato específico que você precisa. E pode incluir o enriquecimento dos dados: adicionando linhas de acordo com regras ou de outras fontes para complementar os dados originais com mais detalhes. LOAD é simplesmente inserir os dados em um novo banco de dados … o banco de dados que você planeja usar para operações de negócios ou marketing adicionais.

Em outras palavras, ETL de marketing é bastante simples. Pelo menos em conceito: extração, transformação, inserção.

Isso é uma coisa boa, porque extrair dados e integração manual de dados quase não é ideia de um desenvolvedor — ou profissional de marketing — de um bom momento.

Você obtém dados, você altera dados e você carrega dados, muitas vezes usando ferramentas como Informatica, Boomi, InfoSphere DataStage, plataforma de integração de dados da Oracle, Talend ou JasperSoft.

Como com a maioria das coisas, no entanto, a complexidade pode surgir quando você implementa isso.

Ferramentas ETL são um aspecto. O transporte dos dados reais e as sobreposições nas três etapas teoricamente limpas e separadas são outros. Além disso, a capacidade de fazer a transformação de dados no local com ferramentas como Amazon Redshift e BigQuery adiciona outras opções.

Em sua forma básica, no entanto, ETL é bastante claro.

A maioria das pessoas que usam Singular se enquadram em algumas categorias diferentes. Há profissionais de marketing, analistas de inteligência de negócios, tecnólogos de marketing, engenheiros de crescimento, criativos e executivos, com algumas outras categorias espalhadas por aí.

Os profissionais de marketing geralmente usam a interface de usuário baseada na web do front end da Singular.

Os tecnólogos de marketing, ou engenheiros de crescimento, geralmente implementam a API da Singular , extraindo dados da Singular em tempo real. Eles podem então integrá-los a um fluxo de outras fontes de dados — dados proprietários — no Tableau ou Looker, ou em um sistema personalizado projetado para processar dados de marketing e apresentar insights para crescimento ou análise.

Ambos são ótimos.

Mas o ETL da Singular obtém os dados que você precisa no sistema que você deseja no formato específico que funciona para você. (Tente obter isso de uma API!)

E isso é útil para os clientes, incluindo analistas de inteligência de negócios, que precisam de mais dados de análise do que a interface de usuário front-end pode fornecer facilmente. Eles podem estar processando esses dados em outra plataforma, usando-os para aprendizado de máquina ou fazendo alguma outra forma de perfil de dados. E agora eles podem obter tudo o que precisam via Singular ETL sem gastar tempo de engenharia.

Além disso, embora alguns analistas de BI sejam super técnicos, eles podem não ter o acesso ou todo o conhecimento necessário para implementar uma API 100% com precisão. Se os seus engenheiros de crescimento quiserem acesso à API eventualmente, isso é totalmente viável. Isso exigirá algum tempo e esforço de engenharia, mas está totalmente disponível.

É aí que Singular ETL entra em cena: muitos clientes investem dezenas ou até centenas de milhares de dólares por dia em marketing mobile . Esperar semanas ou meses para que engenheiros ou um integrador de dados estejam disponíveis pode gerar custos significativos.

Portanto, o Singular ETL ajuda os analistas de BI a se porem em andamento de forma rápida e fácil.

Você pode criar uma réplica dos seus dados de marketing no seu próprio data warehouse. Pode conectar o Tableau diretamente a esses dados. Pode criar relatórios ou dashboards personalizados com base neles. Pode integrar dados confidenciais ou proprietários aos seus dados de marketing dentro da sua infraestrutura interna segura.

Em última análise, você pode impulsionar suas equipes de análise, ciência de dados e tecnologia de marketing com mais dados e mais acesso.

ETL é extrair, transformar, carregar, certo? Bem, não surpreendentemente, é praticamente assim que a ETL da Singular funciona.

ETL extrair:
Começa com a definição de parâmetros na extração dos dados que você deseja, geralmente nos dados de marketing da Singular ou (em breve) nos logs de atribuição da Singular . Você configura um relatório pré-determinado com campos configurados e, potencialmente, filtros, e o relatório será gerado automaticamente em uma base regular.

Essa “base regular” pode ser agendada várias vezes ao dia por padrão. Em outras palavras, não são exatamente dados em tempo real, mas podem estar em uma programação que funciona para você.

ETL transform:
Então, em vez de você precisar definir um esquema de dados para como deseja receber seus dados — a fase de transformação, lembre‑se — deduzimos o esquema alvo diretamente de um conjunto de campos que você já configurou. Isso inclui as colunas que deseja, seus tipos e mais. Mais tarde, definiremos se você quer arquivos planos ou inserir os dados no Amazon Redshift, ou outro local.

Em outras palavras, é armazenamento de dados simplificado.

O software ETL pode trabalhar com dados não estruturados, bem como dados estruturados, e alguns trabalhos de ETL podem ser mais difíceis do que outros, mas o ETL da Singular irá obter os dados que você precisa no formato que você precisa.

ETL carregamento:
Por fim, você configura um destino para os dados, que pode ser um banco de dados como o Amazon Redshift ou um endpoint baseado em arquivo como o Amazon S3, ou um local SFTP. Em outras palavras, os dados podem ir direto para um banco de dados ou ser armazenados em arquivos simples. Destinos adicionais incluem BigQuery e Snowflake.

Com o tempo, podemos até adicionar o Google Drive ou o Google Planilhas se houver demanda suficiente.

Uma vez que você tenha os dados onde precisa, analistas de BI, cientistas de dados e profissionais de marketing podem acessar os dados, analisá-los e transformá-los ou aprimorá-los ainda mais. E eles podem fazer isso nas ferramentas e plataformas com as quais estão mais confortáveis, permitindo ganhos significativos de eficiência.

Além disso, como você tem os dados opcionalmente em um arquivo ou banco de dados, os cientistas de dados podem realizar um pouco de mágica de ETL — extrair, transformar, carregar — se escolherem. Em outras palavras, eles podem transformar os dados ou modelo de dados antes que ele venha a descansar na plataforma que eventualmente desejam armazená-lo.

Basicamente, qualquer profissional de marketing pode se beneficiar usando ETL da Singular .

E há o grande benefício de que seus dados entram em seus sistemas — sejam eles quais forem — no formato que você precisa. Isso é um grande economizador de tempo.

Se você tiver tempo e foco de engenharia para construir uma integração sólida com a API da Singular, e se você precisar de dados de atribuição em tempo real, essa também é uma ótima maneira de prosseguir. Mas isso exigirá esforço extra.

Seguir esse caminho lhe dará acesso em tempo real aos dados de atribuição à medida que eles fluem, o que é claramente melhor para circunstâncias que exigem reação imediata ou pelo menos rápida. Dados sob demanda e automatizados que você pode obter da API da Singular possibilitam mudanças rápidas de estratégia se você vir atividade de baixo ROI. A integridade dos dados é de 100%, e você pode fazer qualquer processamento de dados que desejar.

Além disso, permite que você traga rapidamente dados de marketing para plataformas de engajamento se quiser ser capaz de responder às instalações ou compras de usuários ou clientes em tempo quase real. Isso lhe dá controle total e você não precisa compartilhar acesso ao seu banco de dados.

Mobile muda rapidamente e, para fins de atribuição, a API é a melhor maneira de acompanhar essas mudanças. Para dados de marketing mais agregados, principalmente relacionados a custos, a disponibilidade em tempo real não é uma preocupação tão grande.

Mas mesmo se você já implementou nossa API, o Singular ETL oferece mais.

Agora você pode se manter atualizado automaticamente com todas as novas inovações da Singular : todos os novos tipos de dados disponíveis instantaneamente sem nenhum esforço de integração. Você economizará recursos de devops e engenharia descarregando seu pipeline de dados de marketing para a Singular. Você pode economizar dinheiro em servidores. E você pode ter mais tranquilidade sabendo que seus pipelines de dados de marketing estão sendo constantemente monitorados 24 horas por dia pela Singular.

A ETL é uma grande economia de tempo para os profissionais de marketing, porque elimina a sobrecarga desperdiçada na interpolação de dados. Basta pensar nas diferentes maneiras pelas quais os sistemas díspares podem conceber um único tipo de dado de marketing, como a localização:

• País
• Cidade
• Estado
• Cidade, estado e país (em qualquer ordem)
• Continente
• Região (como EMEA ou APAC)
• Coordenadas GPS
• Latitude e longitude (não decimais)

Seu data lake ou sistema de dados de marketing de registro pode usar qualquer um deles. E os dados que você precisa de suas fontes de marketing, parceiros e redes de anúncios podem ser completamente diferentes. Mas um bom sistema ETL pode lidar e traduzir muitos tipos diferentes de dados de localização de maneiras que seu banco de dados de destino entende, economizando tempo, aborrecimento, ineficiência ou, no pior caso, a total incapacidade de gerar insights para o crescimento graças a dados ruins ou malformados.

E ainda não falamos sobre o tempo:

• 2020/2/10
• 2020/10/2
• 10 de fevereiro de 2020
• 10 de fev de 2020
• Segunda-feira, 10 de fevereiro de 2020 … e assim por diante …

O que o Singular ETL fornece é a capacidade de obter os dados desejados em um sistema de destino de uma forma que foi projetado para operar. Instantaneamente. Agora você está funcionando instantaneamente, gerando insights para economizar dinheiro ou crescer mais rápido ou atender melhor os clientes … sem perder tempo girando as rodas para corrigir formatos de dados.

Ou, pior, prosseguindo com dados incompatíveis sem saber, e tomando decisões ruins como resultado.

E esse é um cenário totalmente válido. Tanto o Singular ETL quanto a Singular API têm seus usos apropriados: você adiciona a API para o que ela traz se precisar, e usa o Singular ETL para o que ele oferece.

A API da Singular fornece dados de atribuição oportunos que alimentam insights na velocidade dos seus clientes. E são dados granulares por dispositivo.

Singular ETL fornece extração de dados agregados agendados regularmente em campanhas que você pode colocar onde quiser, como soluções de código aberto como Hadoop e Spark.

Agora você tem o melhor dos dois mundos. Você não precisa fazer o trabalho sozinho para transformar os dados granulares em agregados e ainda tem os dados em tempo real para atribuição para permitir uma resposta rápida às mudanças de marketing ou engajamento rápido com novos usuários e coortes.

Além disso, se você tiver necessidade de um contexto histórico profundo sobre tendências, você tem dados agregados de todas as suas fontes de dados a partir das quais pode extrair essa informação. (Observação: você também pode usar a interface de usuário web da Singular!)

E, como diferentes equipes podem usar diferentes formas de dados para suas próprias necessidades distintas, todos estão obtendo o que querem.

Agora, você não verá detalhes na interface de usuário típica da Singular sobre a configuração de destinos ETL, pois o recurso está em beta público.

Então, atualmente, para começar, você precisará falar com seu contato da Singular primeiro. Isso também será um bom momento para revisar as capacidades atuais do sistema, que estão crescendo continuamente, e verificar novamente suas soluções de integração.

Uma vez feito isso, você verá novas opções aparecerem e poderá trabalhar com Singular ETL, obtendo todo o suporte necessário ao longo do caminho. Os trabalhos de ETL acontecerão simplesmente conforme necessário: fluindo diretamente para sua infraestrutura de armazenamento de dados.

Pronto para começar?

Basta entrar em contato com seu representante Singular .

Nós vamos configurá-lo e iniciá-lo, e estaremos disponíveis para responder a quaisquer perguntas que você possa ter sobre sua plataforma de integração de dados e estratégia. Também podemos fornecer sugestões sobre integração de dados de terceiros, qualidade de dados e detalhes de transferência de dados.

Clique aqui para mais detalhes.