Qu'est-ce que l'ETL?
ETL est une abréviation de Extract, Transform et Load. Dans ce processus, un outil ETL extrait les données de différents systèmes sources SGBDR puis transforme les données comme l'application de calculs, concaténations, etc., puis charge les données dans le système Data Warehouse.
Dans ETL, les données sont transmises de la source à la cible. Dans ETL, le moteur de transformation de processus prend en charge toutes les modifications de données.
Qu'est-ce que l'ELT?
ELT est une méthode différente pour examiner l'approche par outils du mouvement des données. Au lieu de transformer les données avant qu'elles ne soient écrites, ELT laisse le système cible effectuer la transformation. Les données ont d'abord été copiées sur la cible, puis transformées en place.
ELT est généralement utilisé avec des bases de données sans SQL comme le cluster Hadoop, l'appliance de données ou l'installation dans le cloud.
DIFFÉRENCE CLÉ
- ETL signifie Extraire, Transformer et Charger tandis que ELT signifie Extraire, Charger, Transformer.
- ETL charge les données d'abord dans le serveur intermédiaire, puis dans le système cible, tandis que l'ELT charge les données directement dans le système cible.
- Le modèle ETL est utilisé pour les données sur site, relationnelles et structurées, tandis que l'ELT est utilisé pour les sources de données évolutives structurées et non structurées dans le cloud.
- ETL est principalement utilisé pour une petite quantité de données tandis que ELT est utilisé pour de grandes quantités de données.
- ETL ne fournit pas de prise en charge des lacs de données tandis que ELT fournit une prise en charge des lacs de données.
- ETL est facile à mettre en œuvre, tandis que l'ELT nécessite des compétences de niche à mettre en œuvre et à maintenir.
Différence entre ETL et ELT
Les processus ETL et ELT sont différents dans les paramètres suivants:
Paramètres | ETL | ELT |
---|---|---|
Traiter | Les données sont transformées au niveau du serveur intermédiaire, puis transférées vers Datawarehouse DB. | Les données restent dans la base de données du Datawarehouse. |
Utilisation du code | Utilisé pour
| Utilisé pour de grandes quantités de données |
Transformation | Les transformations sont effectuées dans le serveur ETL / zone de préparation. | Les transformations sont effectuées dans le système cible |
Charge de temps | Les données ont d'abord été chargées dans la mise en scène, puis chargées dans le système cible. Temps intensive. | Données chargées dans le système cible une seule fois. Plus rapide. |
Transformation du temps | Le processus ETL doit attendre la fin de la transformation. À mesure que la taille des données augmente, le temps de transformation augmente. | Dans le processus ELT, la vitesse ne dépend jamais de la taille des données. |
Temps - Maintenance | Il nécessite une maintenance élevée car vous devez sélectionner les données à charger et à transformer. | Faible maintenance car les données sont toujours disponibles. |
Complexité de la mise en œuvre | À un stade précoce, plus facile à mettre en œuvre. | Pour mettre en œuvre les processus ELT, l'organisation doit avoir une connaissance approfondie des outils et des compétences d'experts. |
Prise en charge de l'entrepôt de données | Modèle ETL utilisé pour les données sur site, relationnelles et structurées. | Utilisé dans une infrastructure cloud évolutive qui prend en charge des sources de données structurées et non structurées. |
Prise en charge de Data Lake | Ne supporte pas. | Permet l'utilisation de Data Lake avec des données non structurées. |
Complexité | Le processus ETL charge uniquement les données importantes, telles qu'identifiées au moment de la conception. | Ce processus implique un développement à partir de la sortie vers l'arrière et le chargement uniquement des données pertinentes. |
Coût | Coûts élevés pour les petites et moyennes entreprises. | Faibles coûts d'entrée en utilisant le logiciel en ligne comme plate-forme de service. |
Recherches | Dans le processus ETL, les faits et les dimensions doivent être disponibles dans la zone de transit. | Toutes les données seront disponibles car l'extraction et le chargement se produisent en une seule action. |
Agrégations | La complexité augmente avec la quantité supplémentaire de données dans l'ensemble de données. | La puissance de la plate-forme cible peut traiter rapidement une quantité importante de données. |
Calculs | Remplace la colonne existante ou doit ajouter l'ensemble de données et pousser vers la plate-forme cible. | Ajoutez facilement la colonne calculée à la table existante. |
Maturité | Le procédé est utilisé depuis plus de deux décennies. Il est bien documenté et les meilleures pratiques sont facilement disponibles. | Concept relativement nouveau et complexe à mettre en œuvre. |
Matériel | La plupart des outils ont des exigences matérielles uniques qui sont coûteuses. | Le coût du matériel Saas n'est pas un problème. |
Prise en charge des données non structurées | Prend principalement en charge les données relationnelles | Prise en charge des données non structurées facilement disponibles. |