Marketing e ETL: ETL é a solução sem código do analista de BI

Se você precisar inserir dados em seu armazém de dados de marketing imediatamente e você mal pode esperar que alguém escreva o código para que isso aconteça, Singular ETL pode ser seu melhor amigo. Extrair, transformar e carregar pode não parecer muito empolgante para o profissional de marketing médio... mas usar ETL de marketing obter os dados certos no lugar certo com rapidez e facilidade?

Bem, isso é muito emocionante.

Ou pelo menos os resultados que você pode gerar com esses dados são empolgantes.

É por isso que as ferramentas ETL podem ser uma salvação para o profissional de marketing moderno ou analista de BI. Porque nenhum código significa rápido. E rápido significa insights mais rápidos.

Na verdade, o ETL pode ser ainda mais rápido do que uma API em tempo real. (Continue lendo para descobrir o porquê.)

Não é apenas porque a integração de dados em grande escala com múltiplas fontes de dados é um enorme desafio, mesmo para organizações bem financiadas de business intelligence e tecnologia de marketing. É porque Singular ETL faz mais por você do que uma API jamais poderia fazer.

Não é sempre que você vê um conceito criado há quase 50 anos — sim, ETL originado na década de 1970 – usado em pilhas de tecnologia modernas. Nossa concepção de data warehouse ou data lake mudou muito ao longo dos anos. Hadoop e Spark não existiam naquela época, e dados em tempo real — ou mesmo dados não estruturados — não eram realmente problemas.

A nuvem não existia, o Amazon Redshift não era nem um brilho nos olhos de nenhum engenheiro, quase nenhum fornecedor se descrevia como integrador de dados.

Mas boas ideias resistem ao teste do tempo e, quer seu conjunto de dados esteja em arquivos simples, uma fonte de dados semi-aleatória, um data warehouse ou uma ferramenta de análise, a extração de dados via ETL pode ajudar.

Mesmo que uma integração de API seja algo que você eventualmente decida que precisa, as integrações levam um tempo que mesmo grandes empresas bem financiadas nem sempre têm. Além disso, muitas vezes há um processo interno significativo a ser trabalhado antes mesmo de iniciar uma integração de API.

Então, como extrair, transformar e carregar pode ajudá-lo?

Sobre o que falaremos:

• ETL em poucas palavras
• Quem deve usar ETL… e por quê
• Extrair carga de transformação: como funciona Singular ETL
• Singular ETL faz (quase) tudo
• Como os profissionais de marketing economizam tempo com ETL
• ETL e API: total de melhores amigos?
• ETLFTW

Mesmo que você não goste de dados, provavelmente sabe que ETL é a abreviação de “extrair, transformar, carregar”.

EXTRACT está retirando dados de um banco de dados ou de múltiplas fontes de dados. TRANSFORM está convertendo os dados extraídos de qualquer formato em que estejam armazenados atualmente para o formato específico que você precisa. E pode incluir o enriquecimento dos dados: adicionar linhas de acordo com regras ou de outras fontes para complementar os dados originais com mais detalhes. LOAD é simplesmente inserir os dados em um novo banco de dados... o banco de dados que você planeja usar para futuras operações comerciais ou de marketing.

Em outras palavras, o marketing ETL é bastante simples. Pelo menos em conceito: extração, transformação, inserção.

Isso é bom, porque extrair dados e integrá-los manualmente quase não é uma ideia divertida para desenvolvedores – ou profissionais de marketing.

Você obtém dados, altera dados e carrega dados, geralmente usando ferramentas como Informatica, Boomi, InfoSphere DataStage, plataforma de integração de dados da Oracle, Talend ou JasperSoft.

Porém, como acontece com a maioria das coisas, a complexidade pode surgir quando você a implementa.

As ferramentas ETL são um aspecto. O transporte dos dados reais e as sobreposições nos três estágios teoricamente limpos e separados são outros. Além disso, a capacidade de transformar dados com ferramentas como Amazon Redshift e BigQuery adiciona outras opções.

Em sua forma básica, entretanto, o ETL é bastante claro.

A maioria das pessoas que usa Singular se enquadra em alguns grupos diferentes. Existem profissionais de marketing, analistas de inteligência de negócios, tecnólogos de marketing, engenheiros de crescimento, criativos e executivos, com algumas outras categorias espalhadas por aí.

Os profissionais de marketing costumam usar o front-end do Singular : a interface de usuário baseada na web.

Tecnólogos de marketing ou engenheiros de crescimento geralmente implementam a API Singular , extraindo dados do Singular em tempo real. Eles podem então integrá-los a um fluxo de outras fontes de dados (dados proprietários) no Tableau ou Looker, ou em um sistema personalizado projetado para processar dados de marketing e apresentar insights para crescimento ou análise.

Ambos são ótimos.

Mas Singular ETL fornece os dados necessários para o sistema desejado, no formato específico que funciona para você. (Tente obter isso de uma API!)

E isso é útil para clientes, incluindo analistas de business intelligence, que precisam de mais dados analíticos do que a interface de usuário front-end pode fornecer facilmente. Eles podem estar processando esses dados em outra plataforma, usando-os para aprendizado de máquina ou fazendo alguma outra forma de perfil de dados. E agora eles podem obter tudo o que precisam por meio Singular ETL sem gastar nenhum tempo de engenharia.

Além disso, embora alguns analistas de BI sejam supertécnicos, eles podem não ter o acesso ou todo o conhecimento necessário para implementar uma API com 100% de precisão. Se seus engenheiros de crescimento quiserem eventualmente ter acesso à API, isso é totalmente viável. Exigirá algum tempo e esforço de engenharia, mas está totalmente disponível.

É aqui que entra Singular ETL: muitos clientes estão gastando dezenas a centenas de milhares de dólares por dia em marketing móvel. Esperar semanas ou meses para que engenheiros ou um integrador de dados estejam disponíveis pode ter custos significativos.

Portanto, Singular ETL ajuda os analistas de BI a entrar no caminho certo com rapidez e facilidade.

Você pode criar uma réplica dos seus dados de marketing em seu próprio data warehouse. Você pode conectar o Tableau diretamente a esses dados. Você pode criar relatórios ou painéis personalizados sobre ele. Você junta dados confidenciais ou proprietários aos seus dados de marketing em sua infraestrutura interna segura.

Em última análise, você pode capacitar suas equipes de análise, ciência de dados e tecnólogos de marketing com mais dados e mais acesso.

ETL é extrair, transformar, carregar, certo? Bem, não surpreendentemente, é assim que Singular ETL funciona.

ETL extrair:
Ele começa definindo parâmetros para a extração dos dados que você deseja, geralmente nos dados de marketing Singular ou (em breve) nos logs de atribuição Singular . Você configura um relatório predeterminado com campos configurados e, potencialmente, filtros, e o relatório será gerado automaticamente e regularmente.

Essa “base regular” pode ser agendada várias vezes ao dia por padrão. Em outras palavras, não são exatamente dados em tempo real, mas podem estar em uma programação que funcione para você.

ETL transformar:
Então, em vez de você ter que configurar um esquema de dados sobre como deseja receber seus dados – o estágio de transformação, lembre-se – deduzimos o esquema de destino diretamente de um conjunto de campos que você já configurou. Isso inclui as colunas desejadas, seus tipos e muito mais. Posteriormente, determinaremos se você deseja arquivos simples ou inserir os dados no Amazon Redshift ou em outro local.

Em outras palavras, é um armazenamento de dados simplificado.

O software ETL pode funcionar com dados não estruturados e também com dados estruturados, e alguns trabalhos de ETL podem ser mais difíceis do que outros, mas Singular ETL fornecerá os dados que você precisa no formato que você precisa.

ETL carregar:
Por fim, você configura um destino para os dados, que pode ser um banco de dados como o Amazon Redshift ou um endpoint baseado em arquivo como o Amazon S3 ou um local SFTP. Em outras palavras, os dados podem ir direto para um banco de dados ou ser armazenados em arquivos simples. Destinos adicionais incluem BigQuery e Snowflake.

Com o tempo, poderemos até adicionar o Google Drive ou o Planilhas Google, se houver demanda suficiente.

Depois de ter os dados onde você precisa, os analistas de BI, cientistas de dados e profissionais de marketing poderão acessá-los, analisá-los e transformá-los ou aprimorá-los ainda mais. E podem fazer isso nas ferramentas e plataformas com as quais se sentem mais confortáveis, permitindo ganhos de eficiência significativos.

Além disso, como você tem os dados opcionalmente em um arquivo ou banco de dados, os cientistas de dados podem realizar alguma mágica de ETL – extrair, transformar, carregar – se assim desejarem. Em outras palavras, eles podem transformar os dados ou o modelo de dados antes que eles caibam em qualquer plataforma em que queiram armazená-los.

Basicamente, qualquer profissional de marketing pode se beneficiar com o uso Singular ETL.

E há o enorme benefício de que seus dados cheguem aos seus sistemas — sejam eles quais forem — no formato que você precisa. Isso economiza muito tempo.

Se você tiver tempo e foco de engenharia para construir uma integração sólida com a API do Singular e precisar de dados de atribuição em tempo real, esse também é um ótimo caminho a percorrer. Mas isso exigirá um esforço extra.

Seguir esse caminho lhe dará acesso em tempo real aos dados de atribuição à medida que eles fluem, o que é claramente melhor para circunstâncias que exigem reação imediata ou pelo menos rápida. Os dados sob demanda e automatizados que você pode obter da API Singular permitem mudanças rápidas na estratégia se você observar atividades de baixo ROI. A integridade dos dados é 100% e você pode fazer qualquer processamento de dados que desejar.

Além disso, permite que você traga rapidamente dados de marketing para plataformas de engajamento se quiser ser capaz de responder às instalações ou compras de usuários ou clientes quase em tempo real. Dá a você controle total e você não precisa compartilhar o acesso ao seu banco de dados.

O celular muda rapidamente e, para atribuição, a API é a melhor maneira de acompanhar isso. Para dados de marketing mais agregados, especialmente em torno de custos, o tempo real não é uma preocupação tão importante.

Mas mesmo que você já tenha implementado nossa API, Singular ETL oferece mais.

Agora você pode manter-se atualizado automaticamente com todas as inovações Singular : todos os novos tipos de dados disponíveis instantaneamente, sem qualquer esforço de integração. Você economizará recursos de desenvolvimento e engenharia transferindo seu pipeline de dados de marketing para o Singular . Você pode economizar dinheiro em servidores. E você pode ficar mais tranquilo sabendo que seus pipelines de dados de marketing estão sendo constantemente monitorados 24 horas por dia pela Singular .

ETL economiza muito tempo para os profissionais de marketing, porque você elimina a sobrecarga desperdiçada na interpolação de dados. Pense nas diferentes maneiras pelas quais sistemas diferentes podem conceber um único tipo de dados de marketing, como localização:

• País
• Cidade
• Estado
• Cidade, estado e país (em qualquer ordem)
• Continente
• Região (como EMEA ou APAC)
• Coordenadas GPS
• Latitude e longitude (não decimal)

Seu data lake ou sistema de registro de dados de marketing pode usar qualquer um deles. E os dados de que você precisa de suas fontes de marketing, parceiros e redes de anúncios podem ser completamente diferentes. Mas um bom sistema ETL pode lidar e traduzir muitos tipos diferentes de dados de localização de uma forma que seu banco de dados de destino entenda, economizando tempo, complicações, ineficiência ou, na pior das hipóteses, a total incapacidade de gerar insights para crescimento graças a problemas ou dados malformados.

E ainda nem falamos sobre tempo:

• 2020/2/10
• 2020/10/2
• 10 de fevereiro de 2020
• 10 de fevereiro de 2020
• Segunda-feira, 10 de fevereiro de 2020… e assim por diante…

O que Singular ETL oferece é a capacidade de colocar os dados desejados em um sistema de destino da maneira que ele foi projetado para operar. Imediatamente. Agora você está pronto e funcionando instantaneamente, gerando insights para economizar dinheiro, crescer mais rápido ou atender melhor os clientes... sem perder tempo girando para corrigir formatos de dados.

Ou, pior, prosseguir com dados incompatíveis sem saber e, como resultado, tomar decisões erradas.

E esse é um cenário totalmente válido. Tanto Singular ETL quanto a API Singular têm seus usos apropriados: você adiciona a API para o que ela traz, se precisar, e usa Singular ETL para o que ela oferece.

A API Singular fornece dados de atribuição oportunos que geram insights na velocidade de seus clientes. E são dados granulares por dispositivo.

Singular ETL oferece extração de dados agregados programada regularmente em campanhas que você pode colocar onde quiser, como soluções de código aberto como Hadoop e Spark.

Agora você tem o melhor dos dois mundos. Você não precisa fazer o trabalho sozinho para transformar os dados granulares em agregados e ainda terá os dados em tempo real para atribuição, permitindo uma resposta rápida às mudanças de marketing ou um envolvimento rápido com novos usuários e grupos.

Além disso, se precisar de um contexto histórico profundo sobre tendências, você terá dados agregados para todas as suas fontes de dados das quais poderá extrair essas informações. (Observação: você também pode usar a interface de usuário da web do Singular !)

E, como diferentes equipes podem usar diferentes formas de dados para suas próprias necessidades, todos conseguem o que desejam.

No momento, você não verá detalhes na interface de usuário típica Singular sobre a configuração de destinos ETL, pois o recurso está em versão beta pública.

Portanto, atualmente, para começar, você precisará primeiro falar com seu contato Singular . Esse também será um bom momento para revisar os recursos atuais do sistema, que estão crescendo continuamente, e verificar novamente suas soluções de integração.

Depois de fazer isso, você verá novas opções aparecerem e poderá trabalhar por meio Singular ETL, obtendo todo o suporte necessário ao longo do caminho. Os trabalhos de ETL simplesmente acontecerão conforme necessário: fluindo diretamente para sua infraestrutura de data warehousing.

Pronto para ir?

Basta entrar em contato com seu representante Singular .

Iremos ajudá-lo a configurar e começar a trabalhar e estaremos disponíveis para responder a quaisquer perguntas que você possa ter sobre sua plataforma e estratégia de integração de dados. Também podemos fornecer sugestões sobre integração de dados de terceiros, qualidade de dados e detalhes de transferência de dados.

Clique aqui para mais detalhes.