마케팅과 ETL: ETL은 BI 분석가를 위한 코딩이 필요 없는 솔루션입니다

데이터를 귀하의 마케팅 데이터 웨어하우스 즉시, 그리고 코드를 작성해 줄 사람을 기다릴 수 없을 때, Singular ETL은 최고의 파트너가 될 수 있습니다. 추출·변환·로드는 평균 마케터에게 그다지 흥미롭게 들리지 않을지 모르지만, 사용하면 마케팅 ETL 올바른 데이터를 올바른 위치에 빠르고 쉽게 얻으려면?

와, 정말 신나는 일이네요.

적어도 그 데이터를 활용해서 얻을 수 있는 결과는 흥미로울 겁니다.

바로 이런 이유로 ETL 도구는 현대 마케터나 BI 분석가에게 구세주와 같은 존재가 될 수 있습니다. 코딩이 필요 없으니 속도가 빠르고, 빠르면 인사이트도 더 빨리 얻을 수 있기 때문입니다.

ETL은 실제로 실시간 API보다 훨씬 빠를 수 있습니다. (그 이유를 알아보려면 계속 읽어보세요.)

여러 데이터 소스를 통합하는 대규모 데이터 연동 작업이 자금력이 풍부한 비즈니스 인텔리전스 및 마케팅 기술 조직에게조차 엄청난 과제이기 때문만은 아닙니다. Singular ETL은 API가 제공할 수 있는 것보다 훨씬 더 많은 기능을 제공하기 때문입니다.

50년 전 고안된 개념을 보는 경우는 드뭅니다 — 예, ETL 1970년대에 시작됐으며 — 현대 기술 스택에서 사용됩니다. 데이터 웨어하우스와 데이터 레이크에 대한 우리의 인식은 수년간 크게 변했습니다. 당시 Hadoop과 Spark는 없었고, 실시간 데이터 — 혹은 비정형 데이터 —는 큰 문제가 아니었습니다.

클라우드는 존재하지 않았고, 아마존 레드시프트는 엔지니어들의 머릿속에도 떠오르지 않았으며, 거의 모든 벤더가 스스로를 데이터 통합업체라고 칭하지 않았습니다.

하지만 좋은 아이디어는 시간이 지나도 변함없이 가치를 유지하며, 데이터 세트가 플랫 파일, 반무작위 데이터 소스, 데이터 웨어하우스 또는 분석 도구에 있든 관계없이 ETL을 통해 데이터를 추출하는 것은 도움이 될 수 있습니다.

API 통합이 결국 필요하다고 판단하더라도, 통합 작업에는 시간이 소요되며 자금력이 풍부한 대기업조차도 항상 충분한 시간을 확보하기는 어렵습니다. 게다가 API 통합을 시작하기 전에도 상당한 내부 절차를 거쳐야 하는 경우가 많습니다.

그렇다면 추출, 변환 및 로드는 어떻게 도움이 될까요?

우리가 이야기할 내용은 다음과 같습니다

• ETL을 간단히 설명하자면 이렇습니다
• 누가 ETL을 사용해야 할까요? 그리고 그 이유는 무엇일까요?
• 추출, 변환, 로드: Singular ETL의 작동 방식
• Singular ETL은 (거의) 모든 것을 처리합니다
• 마케터들이 ETL을 활용하여 시간을 절약하는 방법
• ETL과 API, 완전 절친일까?
• ETL 최고!

데이터에 관심이 없더라도 ETL이 "추출, 변환, 로드"의 약자라는 것은 알고 있을 겁니다

추출(EXTRACT)은 데이터베이스 또는 여러 데이터 소스에서 데이터를 가져오는 작업입니다. 변환(TRANSFORM)은 추출된 데이터를 현재 저장된 형식에서 필요한 특정 형식으로 변환하는 작업입니다. 변환 과정에는 데이터 보강(REFENTING)도 포함될 수 있습니다. 즉, 규칙에 따라 또는 다른 소스의 데이터를 추가하여 원본 데이터를 더 자세한 정보로 보완하는 것입니다. 로드(LOAD)는 간단히 말해 데이터를 새로운 데이터베이스, 즉 향후 비즈니스 또는 마케팅 활동에 사용할 데이터베이스에 삽입하는 작업입니다.

즉, 마케팅 ETL은 개념적으로는 꽤 간단합니다. 추출, 변환, 삽입의 세 가지 요소로 이루어져 있죠.

다행스러운 일입니다. 왜냐하면 데이터 추출과 수동 데이터 통합은 개발자든 마케터든 누구도 즐겁게 생각할 만한 일이 아니기 때문입니다.

데이터를 가져오고, 변경하고, 로드하는 데에는 Informatica, Boomi, InfoSphere DataStage, Oracle의 데이터 통합 ​​플랫폼, Talend 또는 JasperSoft와 같은 도구가 자주 사용됩니다.

하지만 대부분의 경우처럼, 구현 과정에서 복잡성이 발생할 수 있습니다.

ETL 도구는 하나의 측면일 뿐입니다. 실제 데이터 전송과 이론적으로 깔끔하고 분리된 세 단계에서 발생하는 중복 문제도 고려해야 할 사항입니다. 또한 Amazon Redshift 및 BigQuery와 같은 도구를 사용하여 데이터를 제자리에서 변환할 수 있는 기능은 추가적인 선택지를 제공합니다.

하지만 ETL은 기본 형태에서는 상당히 명확합니다.

Singular 사용하는 대부분의 사람들은 몇 가지 범주로 나눌 수 있습니다. 마케터, 비즈니스 인텔리전스 분석가, 마케팅 기술 전문가, 성장 엔지니어, 크리에이티브 담당자, 임원 등이 있으며, 그 외에도 다양한 분야의 사용자들이 있습니다.

마케터들은 흔히 Singular의 프런트엔드, 즉 웹 기반 사용자 인터페이스를 사용합니다.

마케팅 기술 전문가 또는 성장 엔지니어는 종종 Singular API를 구현하여 Singular 에서 실시간으로 데이터를 추출합니다. 그런 다음 Tableau 또는 Looker와 같은 다른 데이터 소스(자체 데이터) 또는 마케팅 데이터를 처리하고 성장 또는 분석을 위한 인사이트를 제공하도록 설계된 맞춤형 시스템과 통합할 수 있습니다.

둘 다 훌륭해요.

하지만 Singular ETL은 필요한 데이터를 원하는 시스템으로, 원하는 특정 형식으로 가져다줍니다. (API를 통해 이런 데이터를 얻는 건 불가능하죠!)

이는 프런트엔드 사용자 인터페이스에서 쉽게 제공할 수 있는 것보다 더 많은 분석 데이터가 필요한 비즈니스 인텔리전스 분석가를 포함한 고객에게 유용합니다. 이들은 다른 플랫폼에서 해당 데이터를 처리하거나, 머신 러닝에 사용하거나, 다른 형태의 데이터 프로파일링을 수행할 수 있습니다. 이제 Singular ETL을 통해 엔지니어링 시간을 들이지 않고도 필요한 모든 데이터를 얻을 수 있습니다.

또한, 일부 BI 분석가는 기술적으로 매우 뛰어나지만, API를 100% 정확하게 구현하는 데 필요한 접근 권한이나 모든 지식을 갖추고 있지 않을 수도 있습니다. 성장 엔지니어가 나중에 API 접근 권한을 원한다면, 충분히 가능합니다. 엔지니어링 시간과 노력이 필요하겠지만, 분명히 구현할 수 있습니다.

바로 이 지점에서 Singular ETL이 빛을 발합니다. 많은 고객들이 모바일 마케팅에 하루에 수만 달러에서 수십만 달러를 지출하고 있습니다. 엔지니어 또는 데이터 통합 ​​담당자가 투입될 때까지 몇 주 또는 몇 달을 기다려야 한다면 상당한 비용 손실이 발생할 수 있습니다.

따라서 Singular ETL은 BI 분석가가 빠르고 쉽게 업무에 착수할 수 있도록 도와줍니다.

자체 데이터 웨어하우스에 마케팅 데이터의 복제본을 만들 수 있습니다. Tableau를 해당 데이터에 직접 연결하고, 이를 기반으로 맞춤형 보고서나 대시보드를 구축할 수 있습니다. 민감하거나 독점적인 데이터를 안전하고 보안이 강화된 내부 인프라 내에서 마케팅 데이터와 결합할 수 있습니다.

궁극적으로 더 많은 데이터와 접근 권한을 통해 분석, 데이터 과학 및 마케팅 기술 전문가 팀의 역량을 강화할 수 있습니다.

ETL은 추출, 변환, 로드의 약자죠? 네, 놀랍지 않게도 Singular ETL은 거의 그런 방식으로 작동합니다.

ETL 추출:
먼저 추출하고자 하는 데이터(일반적으로 Singular 마케팅 데이터 또는 (출시 예정인) Singular 리뷰션 로그)에 대한 매개변수를 정의합니다. 미리 정의된 보고서를 구성 필드와 필터를 사용하여 설정하면 해당 보고서가 정기적으로 자동으로 생성됩니다.

그 "정기적인 주기"는 기본적으로 하루에 여러 번 예약할 수 있습니다. 다시 말해, 실시간 데이터는 아니지만 사용자가 원하는 일정에 맞춰 데이터를 확인할 수 있다는 뜻입니다.

ETL transform:
그럼 데이터를 받는 방식을 정의하는 스키마를 직접 설정하는 대신—변환 단계임을 기억하세요—이미 구성한 필드 집합에서 바로 목표 스키마를 추론합니다. 원하는 컬럼과 유형 등을 포함합니다. 이후에는 플랫 파일을 원하거나 Amazon Redshift 등에 데이터를 삽입할지 결정합니다.

즉, 데이터 웨어하우징을 간소화한 것입니다.

ETL 소프트웨어는 정형 데이터뿐만 아니라 비정형 데이터도 처리할 수 있으며, 일부 ETL 작업은 다른 작업보다 더 어려울 수 있지만, Singular ETL을 사용하면 필요한 형식으로 필요한 데이터를 얻을 수 있습니다.

ETL 로드:
마지막으로 데이터 저장 위치를 ​​설정합니다. Amazon Redshift와 같은 데이터베이스, Amazon S3와 같은 파일 기반 엔드포인트, 또는 SFTP 위치 중에서 선택할 수 있습니다. 즉, 데이터는 데이터베이스에 직접 저장되거나 플랫 파일에 저장될 수 있습니다. 추가 저장 위치로는 BigQuery와 Snowflake가 있습니다.

향후 수요가 충분하다면 Google Drive 또는 Google Sheets 기능을 추가할 수도 있습니다.

필요한 위치에 데이터가 확보되면 BI 분석가, 데이터 과학자, 마케터는 해당 데이터에 접근하여 분석하고, 더 나아가 변환하거나 개선할 수 있습니다. 또한, 이들은 자신이 가장 익숙한 도구와 플랫폼을 사용하여 이러한 작업을 수행할 수 있으므로 효율성을 크게 향상시킬 수 있습니다.

또한, 데이터가 파일이나 데이터베이스 형태로 제공되므로 데이터 과학자는 필요에 따라 ETL(추출, 변환, 로드) 작업을 수행할 수 있습니다. 즉, 최종적으로 저장하고자 하는 플랫폼에 저장하기 전에 데이터 또는 데이터 모델을 변환할 수 있습니다.

기본적으로 모든 마케터는 Singular ETL을 사용함으로써 이점을 얻을 수 있습니다.

그리고 가장 큰 장점은 데이터가 어떤 시스템이든 필요한 형식으로 시스템에 들어온다는 것입니다. 이는 엄청난 시간 절약 효과를 가져옵니다.

Singular(Singular) API와의 견고한 통합을 구축할 수 있는 엔지니어링 시간과 집중력이 있고 실시간 기여도 데이터가 필요한 경우, 이 방법 또한 훌륭한 선택입니다. 하지만 추가적인 노력이 필요할 것입니다.

이 방식을 선택하면 실시간으로 유입되는 어트리뷰션 데이터에 접근할 수 있어 즉각적인 대응이 필요한 상황에 훨씬 유리합니다. Singular API에서 제공하는 온디맨드 방식의 자동화된 데이터를 통해 ROI가 낮은 활동을 발견했을 때 신속하게 전략을 변경할 수 있습니다. 데이터 무결성은 100% 보장되며, 원하는 모든 데이터 처리를 자유롭게 수행할 수 있습니다.

또한, 마케팅 데이터를 참여 플랫폼으로 빠르게 가져와 사용자 또는 고객의 설치나 구매에 거의 실시간으로 대응할 수 있습니다. 완벽한 제어 권한을 제공하며 데이터베이스 접근 권한을 공유할 필요도 없습니다.

모바일 환경은 빠르게 변화하며, 어트리뷰션 분석에는 API가 이러한 변화에 발맞춰 나가는 가장 좋은 방법입니다. 하지만 비용과 같은 집계된 마케팅 데이터의 경우에는 실시간성이 그렇게 중요한 요소는 아닙니다.

하지만 이미 저희 API를 구현하셨더라도 Singular ETL은 더 많은 기능을 제공합니다.

이제 Singular 모든 새로운 혁신 기능을 통해 자동으로 최신 상태를 유지할 수 있습니다. 모든 새로운 데이터 유형을 별도의 통합 작업 없이 즉시 이용할 수 있습니다. 마케팅 데이터 파이프라인을 Singular에 맡기면 DevOps 및 엔지니어링 리소스를 절약할 수 있습니다. 서버 비용도 절감할 수 있습니다. 그리고 Singular가 마케팅 데이터 파이프라인을 24시간 내내 지속적으로 모니터링해 주기 때문에 더욱 안심할 수 있습니다.

ETL은 데이터 보간으로 인한 불필요한 오버헤드를 제거해주기 때문에 마케터들에게 엄청난 시간 절약 효과를 가져다줍니다. 서로 다른 시스템들이 위치 정보와 같은 단일 유형의 마케팅 데이터를 처리하는 방식이 얼마나 다양한지 생각해 보세요

• 국가
• 도시
• 상태
• 도시, 주, 국가 (순서는 상관없음)
• 대륙
• 지역 (예: EMEA 또는 APAC)
• GPS 좌표
• 위도 및 경도 (소수점 이하 제외)

데이터 레이크나 마케팅 데이터 시스템은 이러한 데이터 유형 중 하나를 사용할 수 있습니다. 그리고 마케팅 소스, 파트너, 광고 네트워크에서 필요한 데이터는 완전히 다를 수도 있습니다. 하지만 우수한 ETL 시스템은 다양한 유형의 위치 데이터를 대상 데이터베이스가 이해할 수 있는 방식으로 처리하고 변환하여 시간, 번거로움, 비효율성을 줄여주고, 최악의 경우 잘못되거나 형식이 잘못된 데이터로 인해 성장에 필요한 인사이트를 전혀 얻지 못하는 상황을 방지해 줍니다.

그리고 우리는 아직 시간에 대한 이야기조차 꺼내지 않았잖아요

• 2020/2/10
• 2020/10/2
• 2020년 2월 10일
• 2020년 2월 10일
• 2020년 2월 10일 월요일… 등등…

Singular ETL은 원하는 데이터를 대상 시스템이 작동하도록 설계된 방식대로 즉시 전송할 수 있는 기능을 제공합니다. 이제 데이터 형식을 수정하느라 시간을 낭비하지 않고, 즉시 시스템을 가동하여 비용 절감, 빠른 성장, 고객 서비스 개선에 필요한 인사이트를 도출할 수 있습니다.

또는 더 심각하게는, 호환되지 않는 데이터를 모르고 진행하다가 결과적으로 잘못된 결정을 내리는 경우도 있습니다.

그리고 그것은 완전히 타당한 시나리오입니다. Singular ETL과 Singular API는 각각 적절한 용도가 있습니다. 필요하다면 API를 추가하여 활용하고, Singular ETL은 그 기능을 사용하면 됩니다.

Singular API는 고객의 요구에 맞춰 신속하게 인사이트를 도출할 수 있는 시의적절한 어트리뷰션 데이터를 제공합니다. 또한, 기기별로 세분화된 데이터를 확인할 수 있습니다.

Singular ETL은 캠페인에 대한 집계 데이터를 정기적으로 추출하여 Hadoop 및 Spark와 같은 오픈 소스 솔루션 등 원하는 위치에 배치할 수 있도록 지원합니다.

이제 두 가지 장점을 모두 누릴 수 있습니다. 세부적인 데이터를 집계 데이터로 변환하는 작업을 직접 할 필요가 없으면서도, 마케팅 변화에 신속하게 대응하거나 신규 사용자 및 코호트와 빠르게 소통할 수 있도록 실시간 데이터를 활용하여 기여도를 분석할 수 있습니다.

또한, 추세에 대한 심층적인 과거 맥락이 필요한 경우, 모든 데이터 소스의 통합 데이터에서 해당 정보를 추출할 수 있습니다. (참고: Singular의 웹 사용자 인터페이스도 사용할 수 있습니다!)

또한, 각 팀이 고유한 요구 사항에 따라 다양한 형태의 데이터를 사용할 수 있으므로 모두가 원하는 것을 얻게 됩니다.

현재 이 기능은 공개 베타 버전이기 때문에 일반적인 Singular 사용자 인터페이스에서는 ETL 대상 설정에 대한 자세한 정보를 볼 수 없습니다.

따라서 현재로서는 시작하려면 먼저 Singular 담당자와 상담해야 합니다. 이때 지속적으로 확장되는 시스템 기능을 검토하고 통합 솔루션을 다시 한번 확인하는 것도 좋습니다.

이렇게 하면 새로운 옵션이 나타나고 Singular ETL을 통해 필요한 지원을 받으면서 작업을 진행할 수 있습니다. ETL 작업은 필요에 따라 자동으로 실행되어 데이터 웨어하우징 인프라로 바로 전송됩니다.

갈 준비 됐어?

Singular 담당자에게 문의하시면 됩니다.

저희가 설정 및 시작을 도와드리고, 데이터 통합 ​​플랫폼 및 전략에 대한 모든 질문에 답변해 드리겠습니다. 또한 타사 데이터 통합, 데이터 품질 및 데이터 전송 세부 사항에 대한 제안도 제공해 드릴 수 있습니다.

자세한 내용을 보려면 여기를 클릭하세요.