Elt vs ETL: todo lo que necesitas saber

ELT vs ETL: ¿Cuál es mejor?

Bueno, si tiene muchos datos y necesita moverlos, tiene básicamente 2 opciones. Primero, si es algo único y una cantidad realmente masiva de datos, podría intentar Sneakernet ... como adentro, muévalo en discos duros. (Lo creas o no, tanto Amazon como Google tienen opciones para esto). Para la mayoría de las personas, sin embargo, hará una variedad de ELT o ELT, especialmente si la transferencia de datos será algo continuo.

Lo que plantea la pregunta obvia ...

ELT vs ETL ... ¿Cuál es la diferencia? ¿Y dónde debes usar cada uno? 

Eso es exactamente lo que vamos a responder en este momento.

Elt vs ETL en 5 puntos de bala

Hay mucho que decir sobre ELT vs ETL. Para empezar, el ELT es extracto, carga, transformación y ETL es extracto, transformación y carga.

Pero ya lo sabías. 

Aquí está el que no se lee demasiado largo con solo un poco más de información:

• El pedido es importante
  carga datos en el sistema de destino antes de transformarlo, mientras que ETL transforma los datos antes de cargar
• ELT es más rápido y el ELT más escalable
  es generalmente más rápido y más escalable para grandes conjuntos de datos, gracias al poder de procesamiento de los almacenes de datos modernos
• La computación en la nube está impulsando el cambio
  de computación en la nube ha sido una fuerza impulsora detrás del cambio de ETL a ELT, lo que permite una mayor escalabilidad y rentabilidad
• ELT gana en algunas áreas
  a menudo se prefiere el ELT para los casos de uso de Big Data, AI y Analytics en tiempo real
• ETL sigue siendo relevante
  ETL sigue siendo relevante para sistemas heredados, datos altamente estructurados y necesidades de cumplimiento específicas

Cuando SneakNet no es una opción, las empresas usan métodos de integración de datos como ETL (extracto, transformación, carga) y ELT (extracto, carga, transformación). Estos métodos ayudan a obtener y usar grandes cantidades de datos de manera rápida y segura. 

Tanto en ETL como en ELT, el proceso comienza tomando datos sin procesar de diferentes fuentes. Luego, transformamos estos datos en un formato que es fácil de usar o lo cargamos en un sistema de destino. Finalmente, los datos se cargan en un almacén de datos o se transforman, dependiendo de qué método se utilice.

Con el crecimiento de Big Data y la tecnología en la nube, muchas empresas están pasando del antiguo proceso ETL al nuevo enfoque ELT, pero cada método tiene sus propios pros y contras.

Los conceptos básicos: Comprensión de ELT vs ETL

Tanto ELT como ETL son importantes para cambiar los datos sin procesar en ideas útiles, pero son diferentes en cómo funcionan. 

ETL utiliza un método anterior, cambiando los datos antes de enviarlo a un sistema de destino. De esta manera, solo los datos limpios y organizados entran en el almacén de datos ... al menos teóricamente. (En el mundo real, las cosas a veces suceden). Elt, por otro lado, utiliza los beneficios de la integración de datos modernos y los servicios de datos en la nube que tienen sus propias capacidades de transformación extensas. ELT carga los datos sin procesar en el sistema o sistemas de destino primero. Cualquier cambio ocurre más adelante, justo dentro del almacén de datos o el lago de datos, generalmente en la instigación directa de un equipo de BI o analista de datos.

Veamos ETL primero.

ETL es quizás el método heredado más común para mover y procesar datos. Se centra en obtener datos, luego limpiarlos y organizarlos, y luego guardarlos en un almacén de datos: extraer, transformar y cargar.

El paso de transformación en el proceso ETL es muy importante. Cambia los datos sin procesar en un formato que funcione con el sistema de almacenamiento de datos de destino. Este paso puede incluir limpieza de datos, filtrado, agregación y verificación de los datos basados ​​en reglas y necesidades establecidas. También podría incluir enriquecimiento, y es probable que incluya la conversión de la estructura de datos, incluidas las filas, columnas y formatos, para adaptarse a un sistema objetivo muy estructurado.

ETL funciona bien porque tiene un proceso claro. Se asegura de que solo se agregan datos procesados ​​y validados a los almacenes de datos tradicionales. Es perfecto: limpio, eficiente (especialmente en términos de manejo humano y cuidado de niños), y efectivo.

Aún así, hay algunos problemas con este método, especialmente con las grandes cantidades y tipos de datos que vemos hoy en Big Data.

Entonces, ¿cuál es la alternativa?

ELT.

ELT es una parte importante de la integración de datos modernos. Se centra en administrar grandes cantidades de datos de manera efectiva. En ELT, al igual que en ETL, el primer paso es la extracción de datos. Este paso recopila datos sin procesar de diferentes fuentes, como bases de datos, aplicaciones y sensores. El segundo paso es donde cambian las cosas: los datos sin procesar se cargan directamente en un almacén de datos en la nube como Amazon Redshift o un lago de datos, sin cambiarlo de inmediato.

La transformación de datos ocurre dentro del almacén de datos. Este método utiliza la impresionante potencia de procesamiento y la escalabilidad de las plataformas en la nube, que permiten cambios complejos en grandes conjuntos de datos. ELT funciona muy bien con datos no estructurados o semiestructurados, y proporciona la flexibilidad para transformar los datos según sea necesario para fines de inteligencia empresarial o análisis.

Ese último punto es importante.

ELT le brinda datos sin procesar. Si decide algunos meses a partir de ahora que desea ideas ligeramente diferentes de sus datos, puede regresar y usar todos los datos que recopiló en su forma sin procesar para extraer esas ideas. Con ETL, el desafío es que el paso de limpieza y formato podría haber desechado datos que, en ese momento, parecían innecesarios o incluso datos de basura.

Un cambio en la estrategia de datos ...

El surgimiento de ELT es más que un nuevo método; Muestra un cambio importante en cómo manejamos los datos. Este cambio está impulsado por la nueva tecnología y la necesidad de análisis de datos rápidos. Para comprender completamente este cambio, tenemos que observar el pasado de la gestión de datos y lo que condujo al crecimiento de ELT.

En los primeros días del almacenamiento de datos, el almacenamiento de datos era costoso y la potencia de procesamiento era baja. ETL funcionó bien, porque limpiando y organizando cuidadosamente los conjuntos de datos antes de ponerlos en los costosos almacenes de datos locales ahorraron dinero en el almacenamiento.

La transformación tenía como objetivo reducir la cantidad y la complejidad de los datos. Ayudó a usar el espacio de almacenamiento de manera más eficiente. Este método tradicional mantiene la integridad de los datos y la consistencia, pero también puede hacer que el proceso de integración de datos sea más complicado y lento.

Cuando miramos a Elt vs ETL, vemos por qué.

El aumento de la computación en la nube cambió la forma en que administramos los datos. Hizo que las soluciones de almacenamiento de datos sean más escalables y asequibles. Este impulso en la potencia de procesamiento, junto con el rápido crecimiento de grandes conjuntos de datos, hace que ELT sea una mejor opción en muchos casos.

Con ELT, las empresas pueden cargar rápidamente datos sin procesar en un lago de datos o un almacén de datos en la nube, donde ahora pueden obtener un almacenamiento muy barato. Luego, pueden esperar para transformar estos datos hasta que sea necesario. Esto ofrece más flexibilidad a medida que las necesidades de inteligencia empresarial cambian. Por lo tanto, ELT puede reducir los costos iniciales al tiempo que facilita la transformación de datos. 

Este enfoque es excelente para las organizaciones que desean mejorar sus capacidades de análisis de datos.

Cuándo usar cada uno: ELT vs ETL

La conversación ELT vs ETL sigue siendo una conversación activa porque todavía hay casos de uso en los que ETL tiene sentido, particularmente con los sistemas heredados.

Claro, ELT se está convirtiendo rápidamente en la mejor opción para muchas necesidades actuales de integración de datos. Pero tanto ETL como ELT tienen sus propios pros y contras, y elegir el método adecuado para usted y sus datos depende de diferentes factores, incluido el volumen de datos, los tipos de datos, las necesidades comerciales y los sistemas que ya tiene en su lugar.

Elija ELT para casos como estos:

• Big Data, los datos no estructurados
  ELT es excelente para trabajar con grandes cantidades de datos. Esto es especialmente cierto cuando no está estructurado o semiestructurado. En general, es mejor poner los datos sin procesar en su lago de datos primero y luego cambiarlos más tarde. Esto a menudo es más eficiente que tratar de organizar todo antes de cargar.
• Data Exploration
  ELT ofrece más opciones para explorar datos. Obtiene más flexibilidad y agilidad con el tiempo con ELT. No necesita establecer todas las reglas de transformación antes de cargar los datos. Esto permite a los analistas probar diferentes reglas comerciales y modelos de datos sin necesidad de recargar todos los datos cada vez.
• AI, ML Aplicaciones
  ELT funciona muy bien para casos de uso de IA en los que a menudo necesita procesar conjuntos de datos grandes y variados, incluidos datos no estructurados como texto e imágenes.

Considere ETL para casos como estos:

• Legacy Systems
  ETL sigue siendo una buena opción cuando se trata de sistemas antiguos que siguen reglas de datos estrictos y necesitan un alto nivel de integridad de datos.
• Cumplimiento, datos confidenciales
  Cuando las reglas, las regulaciones o las leyes dicen que debe cambiar u ocultar ciertos datos antes de almacenarlos, la forma organizada de ETL puede ayudarlo a garantizar que cumpla con esas reglas. Esencialmente, cumple con el diseño y no se arriesga a almacenar accidentalmente datos que puedan meterlo en problemas más adelante.
• Los almacenes de datos optimizados
  para las empresas que utilizan almacenes de datos locales tradicionales con almacenamiento limitado, las transformaciones de precarga de ETL pueden ser muy útiles.

Sumando todo

En conclusión, ELT y ETL son muy importantes para las estrategias de integración de datos. 

ELT se está convirtiendo en una mejor opción para muchos porque puede ser más escalable y eficiente, especialmente con la computación en la nube y enormes conjuntos de datos. 

Pero conocer los diferentes aspectos técnicos de ELT y ETL, y cómo se cruzan con sus necesidades y sus plataformas tecnológicas, es clave para tomar decisiones inteligentes sobre los flujos de trabajo de procesamiento de datos. ETL es útil en algunos casos, pero ELT puede hacerte más adaptable y flexible para el futuro. 

Las organizaciones deben verificar sus necesidades y requisitos de procesamiento de datos para encontrar el mejor método para ellas, y considerar cambiar a ELT para mejorar la seguridad y la escalabilidad de los datos, obteniendo una ventaja competitiva en el mundo centrado en los datos actual.

Los datos te ayudan a ganar. 

Pero solo si es inteligente sobre cómo recopila, almacena y usa esos datos.