LCC 193 - Interview Apache Kafka avec Florent Ramière

Florent Ramière vient discuter avec Emmanuel d’Apache Kafka, de ses usages, son fonctionnement, son écosystème. Et roule ma poule sur piste noire.

Enregistré le 19 juillet 2018

Téléchargement de l’épisode LesCastCodeurs-Episode–193.mp3

Interview Ta vie, ton œuvre

Florent Ramière @framiere LinkedIn Confluent

Kafka

Kafka en deux phrases Apache Kafka AMQP

Quels sont ses caractéristiques spécifiques Pourquoi pas A-MQ Discussion only-once delivery, at-least-once, exactly once

Les cas d’utilisations

• captation des logs
• event sourcing et le podcast sur l’event sourcing
• stream processing
• bus message
• microservices

Apache Spark Streaming Apache flink

Partition

Discussion sur la dualité change event / table

Les blogs de Ben Stopford Debezium - Change Data Capture

La compétition

• MQ
• Apache Pulsar
• AWS Kinesis

L’utilisation

Comment Kafka s’utilise Comment on l’installe

• Déployer la stack via ansible

Definition des partitions

• A quoi ça sert fonctionnellement le sharding
• Comment choisir sa clé de sharding

Apache Zookeeper

Comment je publie un message ? Je dois stocker l’index?

Protocol Kafka

Processing avec Kafka Streams vs Spark Stream et Flink

Supervision Démo de monitoring

Golden ratio

• lag
• partitions non répliquées
• plusieurs leaders

Devoxx France Comment monitorer Kafka like a pro Un tour de l’environnement Kafka

Sous la capot

Apache Zookeeper

Pourquoi ça scale ? Réplication Batching Latence

Les top 5/10 problèmes que tu vois chez les clients

• pas de monitoring
• pas compris le système de partition: sous provisionner
• gestion de l’ordre: lié à la production
• codec: snappy

Producteurs Présentation sur le producteur Kafka Format des messages Schema registry

Retention:

• en temps
• en byte

Compaction: avantages / inconvénients fonctionnels Crypto-shredding

L’écosystème et la communauté

Kafka Connect A Kafka Story

Kafka Stream KSQL et son GitHub

Confluent Inc vs Apache Kafka

Apache Pulsar

Kafka Improvement Process

Ressources

Monitoring demo A Kafka Story Une démo complete kafka, broker, ksql, connect etc Déployer la stack via ansible KSQL Microservices Resources Kafka Bouquin Kafka the definitive guide gratuit Kafka Improvment process Kafka protocol Le blog de confluent Apache Pulsar Debezium

Nous contacter

Faire un crowdcast ou une crowdquestion Contactez-nous via twitter https://twitter.com/lescastcodeurs sur le groupe Google https://groups.google.com/group/lescastcodeurs ou sur le site web https://lescastcodeurs.com/