Tout ce que vous devez savoir sur le processus ETL
Temps de lecture : 5 min
Vous devez régulièrement charger votre entrepôt de données afin de faciliter l’analyse commerciale. Pour cela, les données des systèmes opérationnels doivent être extraites et copiées dans l’entrepôt de données. Dans les environnements d’entrepôt de données, le défi consiste à intégrer, réorganiser et consolider de grandes quantités de données provenant de nombreux systèmes pour fournir une nouvelle base d’informations unifiée pour l’intelligence commerciale.
Le processus d’extraction des données des systèmes sources et leur transfert dans l’entrepôt de données est couramment appelé ETL, qui signifie extraction, transformation et chargement. Il convient de noter que l’ETL fait référence à un processus global plutôt qu’à trois étapes bien définies. L’acronyme ETL est peut-être trop simpliste car il ne tient pas compte de la phase de transport et sous-entend que chaque phase du processus est distincte.
Qu’est-ce qui se passe pendant le processus ETL ?
Les principales actions du processus sont les suivantes :
Extraction des données
La première étape de l’ETL est l’extraction. Pendant cette étape, les données sont spécifiquement identifiées et prélevées à partir de différents emplacements. Ces données peuvent provenir de diverses sources telles que des fichiers, des feuilles de calcul, des bases de données et des applications, etc. Il n’est généralement pas possible de déterminer exactement le sous-ensemble d’intérêt, il est donc préférable d’extraire plus de données que nécessaire pour couvrir tous les besoins.
Certaines transformations peuvent avoir lieu pendant le processus d’extraction, en fonction des capacités du système source telles que les ressources du système d’exploitation. La taille des données extraites peut varier de quelques centaines de kilo-octets à plusieurs giga-octets, selon le système source et les besoins commerciaux. La fréquence des extractions peut également varier, allant de quelques jours ou quelques heures à presque en temps réel.
Transport des données
Une fois les données extraites, elles doivent être physiquement transportées vers le système cible ou vers un système intermédiaire pour un traitement ultérieur. Selon le mode de transport choisi, certaines transformations peuvent également être effectuées pendant ce processus.
Transformation des données
La prochaine étape du processus ETL est la transformation. Une fois les données extraites, elles doivent être transportées physiquement vers la destination cible et converties dans le format approprié. Cette transformation des données peut inclure des opérations telles que le nettoyage, l’assemblage et la validation des données.
Chargement des données
La dernière étape du processus ETL consiste à charger les données transformées dans la destination cible. Cette destination peut être une base de données ou un entrepôt de données. Il existe deux méthodes principales pour charger les données dans un entrepôt : le chargement complet et le chargement incrémental. Le chargement complet consiste à décharger complètement les données lors de la première charge dans l’entrepôt, tandis que le chargement incrémental se produit à des intervalles réguliers. Ces intervalles peuvent être des flux incrémentiels (meilleurs pour de petites quantités de données) ou des lots incrémentiels (meilleurs pour de grandes quantités de données).
Par la suite, les équipes d’intelligence commerciale (BI) effectuent des requêtes sur ces données, qui sont ensuite présentées aux utilisateurs finaux ou aux décideurs d’entreprise, ou utilisées comme entrées pour des algorithmes d’apprentissage automatique. Un problème courant dans ce domaine est que si les résumés OLAP ne peuvent pas prendre en charge le type d’analyse souhaité par l’équipe BI, le processus doit être recommencé avec des transformations différentes.
Pourquoi utiliser le processus ETL ?
Dans la plupart des cas, les entreprises ayant besoin de construire et de maintenir des entrepôts de données complexes investissent dans des outils ETL et ELT. Cependant, d’autres organisations peuvent également les utiliser à plus petite échelle.
Les entreprises utilisent le processus ETL depuis de nombreuses années pour obtenir une vue consolidée des données, ce qui leur permet de prendre de meilleures décisions commerciales. Aujourd’hui, cette méthode d’intégration de données provenant de systèmes et de sources multiples reste un élément central de la boîte à outils d’intégration de données d’une organisation.
Autonomous Database pour les nuls
Les technologies émergentes et l’automatisation imprègnent tous les aspects de notre travail et de notre vie quotidienne.
La grande opportunité offerte par ces technologies, telles que l’intelligence artificielle (IA), l’apprentissage automatique, l’Internet des objets (IoT) et les interfaces humaines, est de nous permettre d’adopter l’innovation à une échelle sans précédent.
Ces technologies nous aident à repenser ce qui est possible dans le travail et dans la vie quotidienne, allant des voitures à la médecine personnalisée en passant par l’agriculture de précision et les villes intelligentes qui transforment notre façon de vivre notre monde.
