Le concept de Data Lake, taillé pour répondre aux besoins du Big Data, vise à briser les silos des systèmes d’information des entreprises tout en offrant une plus grande agilité. Avec la convergence des plateformes fédératrices dans les entreprises et les nouvelles avancées économiques des technologies du Big Data, le concept de Data Lake a gagné en émergence. Dans cet article, nous vous plongerons dans les détails de cette solution, avec l’aide de l’expert Vincent Heuschling.
Qu’est-ce qu’un Data Lake ? (définition)
Le Data Lake, également connu sous le nom de lac de données, est un espace de stockage global qui regroupe toutes les informations au sein d’une organisation. Ce lac de données offre une flexibilité suffisante pour interagir avec des données brutes ou très raffinées. L’un des points clés de cette flexibilité réside dans l’absence de schéma strict imposé aux flux entrants. Cela signifie que toutes les données, quelle que soit leur nature ou leur origine, peuvent être intégrées. Au-delà du stockage, le Data Lake vise à faciliter le traitement et la transformation rapides des informations, accélérant ainsi les cycles d’innovation et soutenant les différentes initiatives axées sur les données.
En quoi diffère-t-il d’un Datawarehouse ?
Il est tentant de considérer le Data Lake comme un datawarehouse classique, mais les différences entre les deux sont profondes sur plusieurs aspects. Le Data Lake a pour vocation d’absorber des flux de données brutes et de les rendre utilisables en les transformant pour répondre à différents besoins d’analyse. Cette approche est nouvelle dans la mesure où elle permet de charger les données, puis de les transformer pour les exploiter. Les problèmes de collecte et d’ingestion des données dans les systèmes sont souvent un frein aux initiatives liées aux données. La possibilité de charger les données sur une plateforme dans un état brut quasi immédiat, puis d’itérer rapidement pour les utiliser, est un avantage indéniable. On parle d’ailleurs plus souvent de démarche ELT (Extract-Load-Transform) que d’ETL (Extract-Transform-Load) à laquelle nous étions habitués. Contrairement à un datawarehouse, qui pousse les données de leur source à leurs consommateurs en suivant un chemin relativement fixe où chaque datamart vise à satisfaire un besoin spécifique, le Data Lake offre une plus grande flexibilité. En effet, chaque utilisateur peut exprimer ses besoins et extraire les différentes sources de données pour les combiner et leur donner du sens.
“L’analyse de données devient opérationnelle”
Un autre aspect différenciant du Data Lake par rapport à son prédécesseur réside dans sa capacité à être opérationnel. La possibilité d’ingérer des flux de données en temps réel et de réagir rapidement aux données permet aux applications d’interagir directement avec celles-ci. On dépasse ainsi le simple aspect de Business Intelligence du datawarehouse, où la création de valeur se limitait à l’utilisation des données à des fins de reporting.
Quels sont les atouts d’un Data Lake ?
Le fait de ne pas imposer de schéma strict lors de l’ingestion des données comporte un risque évident en termes de qualité et de fiabilité. En pratique, on constate que les données brutes restent peu structurées pendant une courte période, car elles passent rapidement par un processus qui permet de normaliser les sources et de cataloguer les métadonnées. La gouvernance devient alors un enjeu majeur pour assurer le bon fonctionnement d’un Data Lake. Contrairement à un datawarehouse, où les analystes doivent utiliser les données selon une formalisation rigide conçue initialement, l’approche “Schema On Read” permet de conserver tout le potentiel des données d’origine. Cependant, cela nécessite des compétences et des outils plus techniques pour exploiter les données.
“Le machine learning pour constituer des modèles prédictifs”
Le Data Lake est souvent basé sur des technologies qui permettent le traitement in-situ des données. La puissance de calcul associée au stockage permet de raffiner les flux de données et de créer rapidement des déclinaisons métier attendues. Les outils intégrés permettent aux analystes, aux data-scientistes et aux développeurs de tirer parti des données et de construire rapidement des scénarios analytiques ou des applications. Les processus de machine learning sont souvent associés à ces plateformes pour exploiter toutes les données et créer des modèles prédictifs. La capacité à appliquer ces modèles aux flux entrants confère une dimension proactive à ce type de plateforme.
Quels sont les usages du Data Lake ?
De manière générale, les Data Lakes sont souvent mis en place pour remplacer et améliorer les infrastructures existantes. Les organisations sont motivées par la nécessité d’améliorer l’utilisation des données, de centraliser toutes les sources en un seul endroit et d’accélérer les cycles d’innovation. Les secteurs du marketing et des médias ont été les premiers à saisir cette opportunité, bien avant que le terme de Data Lake ne devienne populaire.
“Le Data Lake permet par exemple de collecter et analyser les données d’interactions clients”
Dans une démarche de DMP (Data Management Platform), le Data Lake permet de collecter toutes les données issues des interactions avec les clients, puis de les raffiner pour obtenir une vision globale à 360° des clients. Ces projets visent souvent à appliquer des algorithmes de segmentation ou de prédiction pour anticiper les comportements des consommateurs. Ils mettent également en avant les capacités à assembler et valoriser une grande variété de données. Ces initiatives étaient initialement centrées sur les données numériques, les ventes et leur utilisation en marketing. Plus récemment, nous avons vu des projets dans le secteur industriel visant à collecter toutes les sources de données liées aux environnements de fabrication et à l’utilisation des produits afin d’optimiser ces derniers. Les possibilités offertes par la collecte massive de données à l’ère de l’Internet des objets ouvrent de nouveaux champs d’application, permettant de traiter des volumes importants de données et d’utiliser le machine learning à grande échelle.
Quelles sont les solutions techniques clés dans ce domaine ?
Bien qu’Hadoop soit souvent considéré comme la solution incontournable pour construire un Data Lake de grande envergure, il serait réducteur de penser qu’il est la seule solution à envisager. Absorber de grandes quantités de données et les traiter est la spécialité d’Hadoop. Les sponsors d’Hadoop le savent bien et orientent leurs communications vers les bonnes pratiques pour mettre en place une plateforme de données globale. Toutefois, les défis à relever ne se limitent pas au stockage et au traitement des données, mais incluent également des besoins périphériques tels que la visualisation, la data-science, la gouvernance des données et les capacités de traitement en temps réel. Ainsi, des solutions telles que Kafka, Storm ou Spark-Streaming permettent de traiter les informations collectées en temps réel avant même de les stocker dans le Data Lake.
En plus de stocker et de traiter des données en masse, il est tentant de donner une dimension opérationnelle à ces Data Lakes. Cette extension d’utilisation nécessite la possibilité d’interagir avec les données via des applications qui les modifient. Sans atteindre les usages des SGBDR classiques, il est possible de stocker les profils utilisateurs et d’interagir avec ceux-ci pour améliorer l’expérience des utilisateurs lors de leurs consultations de sites web. En complément d’Hadoop, une base de données NoSQL telle que Cassandra permet une utilisation interactive des données, avec une cohérence et une disponibilité élevées.
Quel socle choisir pour la mise en œuvre d’un Data Lake ?
Lors de la construction d’un Data Lake, le cloud est certainement la meilleure option, car il permet de provisionner à la demande les ressources nécessaires pour faire évoluer l’infrastructure au fur et à mesure des besoins. L’élasticité favorise également l’innovation autour des données, permettant par exemple de traiter temporairement des données historiques afin de valider un nouvel algorithme.
Le coût d’une telle approche est bien inférieur à ce qu’il faudrait mettre en place dans une infrastructure “on-premise” pour obtenir le même résultat. Outre son aspect économique, le choix d’un cloud pour construire un Data Lake offre également la richesse des composants proposés par des fournisseurs tels que Google Cloud Platform ou Microsoft Azure. Ces plateformes PaaS offrent des composants très riches pour développer des applications et des API interagissant avec les données. Face à l’ampleur d’un projet de Data Lake, le cloud permet une approche progressive et l’utilisation d’un service géré pour la production et l’exploitation de cet environnement.
L’expert : Vincent Heuschling, fondateur et PDG d’Affini-Tech, est un expert en stratégie Big Data. Il aide ses clients à concevoir leurs stratégies, à réaliser leurs premières expériences et à construire leurs plateformes Big Data. Avec une formation d’ingénieur et une expérience dans les domaines de l’informatique, du conseil et du commerce, Vincent Heuschling s’est spécialisé dans le secteur du Big Data.
Dans cet article, nous avons exploré en détail le concept du Data Lake, la solution incontournable pour répondre aux défis du Big Data. Grâce à sa flexibilité et à sa capacité à traiter les données brutes, le Data Lake ouvre de nouvelles perspectives pour exploiter efficacement les données au sein des organisations. Qu’il s’agisse de collecter et d’analyser les données des clients, de créer des modèles prédictifs ou d’accélérer les cycles d’innovation, le Data Lake offre des possibilités infinies. En choisissant les bonnes solutions techniques, en mettant l’accent sur la gouvernance des données et en optant pour une approche cloud, les entreprises peuvent tirer le meilleur parti de leur Data Lake et transformer leurs données en avantages concurrentiels.
