Kafka : ingestion de messages

Comprendre le fonctionnement de Kafka et les principes de communications inter applications

• Le projet Kafka : historique, fonctionnalités, principe de fonctionnement
• Présentation de l’architecture et du rôle de chaque composant : broker, producer, consumer
• Liaison éventuelle avec Zookeeper. Impacts

Acquérir les bonnes pratiques de distribution de messages

• Etude de la configuration du broker
• Atelier : création d’une configuration multi-broker, démarrage de plusieurs noeuds
• Atelier : création d’un topic simple et mise en oeuvre d’une chaîne de base. Visualisation des messages avec kafka-console-consumer

Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

• Kafka Connect : présentation des fonctionnalités : intégration de données d’origines multiples, modes de fonctionnement (standalone ou distribué)
• Types de connecteurs
• Atelier  : configuration de connecteurs, ingestion de données, création d’une chaîne de transformation

Appréhender les différentes APIs de Kafka

• Conception d’applications avec Kafka
• Principe de fonctionnement
• Atelier : Développement de prototypes en Python, Java, Scala
• Couplage avec SparkStreaming en mode batch, en mode continu
• Principe et architecture de Kafka Streams