ELEPHANT technologies, une ESN locale et à taille humaine spécialisée dans le développement et le pilotage autour de 4 expertises : hardware, embarqué, software et web.
Aujourd’hui, retrouvez Jean-Bernard, notre elephantgénieur back-end java, qui nous parle de l’Apache KAFKA, un système de messagerie facilitant la transmission de messages.
Let’s go !
KAFKA, qu’est-ce que c’est ?
Apache KAFKA est un système de messagerie distribué qui facilite la transmission des messages entre les producteurs et les consommateurs. Il est capable de monter en charge, de supporter des débits de données très importants et d’assurer la persistance des données pendant une période déterminée.
Aperçu de l’architecture KAFKA
Voyons brièvement comment fonctionne l’écosystème Kafka bloc par bloc.
Source : www.tutorialspoint.com
Les producteurs : ils transmettent les données aux Brokers via des messages. Le producteur n’attend pas les « accusés de réception » du broker et envoie les messages aussi rapidement que le broker peut les gérer.
Les messages : ils sont organisés dans des catégories appelées « Topics » et se constituent de partitions ordonnées. Chaque message au sein d’une partition reçoit un identifiant incrémentiel.
Le broker : le cluster Kafka se compose généralement de plusieurs brokers pour maintenir l’équilibre de charge. Chaque broker peut gérer des centaines de milliers de lectures et d’écritures par seconde.
Le ZooKeeper : il est utilisé pour gérer et coordonner les brokers Kafka. Il élit le broker leader du cluster et informe le producteur et le consommateur de la présence de tout nouveau broker ainsi que de la défaillance d’un broker dans le système Kafka.
Les consommateurs : ils doivent conserver le nombre de messages consommés en utilisant le décalage de partitions. Si le consommateur reconnaît le décalage d’un message particulier, cela implique qu’il a consommé tous les messages précédents. Les consommateurs peuvent rembobiner ou passer à n’importe quel point d’une partition simplement en fournissant une valeur de décalage.
Les 5 principales API d’Apache KAFKA :
Pour offrir aux applications un accès à Apache Kafka, le logiciel propose 5 principales API :
L’API Producer permet aux applications d’envoyer des flux de données aux rubriques du cluster Kafka.
L’API Consumer permet aux applications de lire des flux de données à partir de rubriques dans le cluster Kafka.
L’API Streams permet de transformer des flux de données de rubriques d’entrée en rubriques de sortie.
L’API Connect permet d’implémenter des connecteurs qui récupèrent continuellement des données d’un système source vers Kafka ou de Kafka vers un système récepteur.
L’API Admin permet de gérer et d’inspecter les brokers et d’autres objets Kafka.
Dans quels cas utiliser KAFKA ?
Kafka est utilisé par de nombreuses entreprises pour :
Transférer des millions de messages par seconde grâce à des bus de message performants.
Faire de la supervision en temps réel en associant Kafka à des pipelines de données de centralisation de métrique sur plusieurs applications. Il est également utilisé pour collecter et centraliser les logs de plusieurs applications.
Transmettre des données en temps réel issues de sources diverses et variées dans le cadre de data streaming. Cette fonctionnalité est utilisée par les applications de streaming, celles faisant du machine learning ou des traitements big data.
Kafka est devenu un outil majeur dans la stratégie de développement des systèmes d’informations au sein des grandes entreprises grâce à ses performances et à sa capacité à traiter un très grand volume de données.
Vous voilà maintenant fins prêts pour démarrer sur KAFKA !
Nous remercions Jean-Bernard pour son article, en espérant que nous vous avons donné envie d’utiliser KAFKA dans vos projets.
