Recevoir et publier des données provenant d’un cluster Kafka
Programme
Concepts fondamentaux
- Producers
- Consumers
- Messages
Architecture d’une plateforme Kafka
- Brokers/Topics/Partitions
- Kafka Connect
- Schema Registry
- KSQLDB
- Rest Proxy
Développement pour Kafka
- Développement SpringBoot
- Développer un producer pour émettre des messages vers un topic kafka
- Développer un consumer pour s’abonner à un topic kafka
Kafka Connect
- Utilisation des Connecteurs, configuration et fonctionnement
- Gestion des transformations avec les connecteurs
- Développement d’un connecteur spécifique
Schema registry
- Gestion des schéma (avro, json)
- API de manipulations
Streaming
- Introduction au concept de streaming et pipeline de données
- Comparatifs streams vs topics
KSQLDB
- Concepts et architecture de KSQLDB
- Requêtes KSQLDB et opérations en ligne de commande
- Traitement des données issues d’un stream
- Streams & Tables
- Jointures, agrégations et fenêtres de temps et de taille
- Développer une extension KSQLDB spécifique