Partie 1 | Qu'est-ce que Kafka Connect ?

Chapitre 1 : Introduction à Kafka Connect

fonctionnalités de Kafka Connect
__Architecture enfichable
__Évolutivité et fiabilité
__Définition déclarative du pipeline
Kafka Connect fait également partie d'Apache Kafka.
Cas d'utilisation
__Capture des modifications de la base de données
Mise en miroir du cluster Kafka
__Construction d'un lac de données
__Agrégation des journaux
Modernisation du système existant
Alternatives à Kafka Connect
organiser

Chapitre 2 : Apache Kafka

Plateforme de diffusion d'événements distribués
__Source libre
système distribué
__Diffusion en direct d'événements
__plate-forme
Concepts clés de Kafka
__Publier-S'abonner
Courtier et dépositaire
__Sujets et partitions
__Réplication
Cycle de stockage et compactage
__Artisan et gardien de zoo
Interagir avec Kafka
__Producteur
__Consommateur
__Flux Kafka
Premiers pas avec Kafka
Exécution de Kafka
Échange de documents
__Exécuter une application Kafka Streams
organiser

Partie 2 : Création de pipelines de données avec Kafka Connect

Chapitre 3 : Composants du pipeline de données Kafka Connect

Temps d'exécution de Kafka Connect
__Exécution de Kafka Connect
API REST de Kafka Connect
__Installer le plugin
__Mode de déploiement
Connecteur de source et connecteur de destination
__Connecteurs et tâches
__Configuration du connecteur
__Faites fonctionner le connecteur
convertisseur
__Format et schéma des données
__Configuration du convertisseur
Utilisation du convertisseur
Transformation et prédicat
__Cas d'utilisation de la transformation
__Prédicat
__Configuration des transformations et des prédicats
Utilisation des transformations et des prédicats
organiser

Chapitre 4 : Concevoir un pipeline de données efficace

Sélection d'un connecteur
__direction du pipeline
Licences et assistance
Fonctions de connexion
Définition d'un modèle de données
__Conversion des données
Cartographie des données entre les systèmes
mise en forme des données
__format de données
__schéma
Un aperçu de Kafka Connect
__Sujet interne
Adhésion au groupe
Protocole de rééquilibrage
Gestion des interruptions de service dans Kafka Connect
__Le handicap de Walker
Échec du connecteur/de la tâche
Défaillance de Kafka/système externe
__File d'attente des lettres mortes
Comprendre la sémantique du traitement
Connecteur d'évier
__Connecteur source
organiser

Chapitre 5 : Les connecteurs en action

Connecteur de synchronisation Confluent S3
__Configuration du connecteur
__Exactement une fois sémantique
__Faites fonctionner le connecteur
Connecteur de source JDBC Confluent
__Configuration du connecteur
__Faites fonctionner le connecteur
Connecteur de source MySQL Debisium
__Configuration du connecteur
__Format de l'événement
__Faites fonctionner le connecteur
organiser

Chapitre 6 : Mise en miroir d’un cluster avec MirrorMaker

Qu'est-ce que la mise en miroir ?
__Examen des cas d'utilisation de la mise en miroir
__La mise en miroir en pratique
Découvrez Mirror Maker
Concept commun
__Mode de déploiement
Connecteur Mirrormaker
__ConnecteurSourceMiroir
__Connecteur de point de contrôle miroir
__Connecteur de battements de cœur miroir
Exécution de MirrorMaker
Exemple de reprise après sinistre
Exemple de réplication interrégionale
organiser

Partie 3 | Exécution de Kafka Connect en environnement de production

Chapitre 7 : Déploiement et exploitation d’un cluster Kafka Connect

Préparation de l'environnement Kafka Connect
__Création d'un environnement Kafka Connect
__Installer le plugin
Réseau et autorisations
Plugin Walker
__Fournisseur de configuration
Extension __REST
Stratégie de remplacement de la configuration du client __Connecteur
Dimensionnement et planification des capacités
__Comprendre l'utilisation des ressources de Kafka Connect
__Sélectionner le nombre approprié de travailleurs et de tâches
Exécution d'un cluster Kafka Connect
Ajouter un travailleur
__Supprimer Walker
Amélioration et entretien des déambulateurs
__Redémarrage des tâches et des connecteurs en état d'échec
__Réinitialiser le décalage du connecteur
Gestion de Kafka Connect à l'aide de l'API REST
Création et suppression de connecteurs
__Configuration du connecteur et des tâches
__Contrôler le cycle de vie du connecteur
__Liste des décalages des connecteurs
Problèmes de débogage
organiser

Chapitre 8 : Configuration de Kafka Connect

Configuration de l'environnement d'exécution
__Configuration pour les environnements commerciaux
__Configuration de réglage fin
Configuration du connecteur
__Composition du sujet
__Surcharge du client
__Configuration pour une seule fois
__Configuration pour la gestion des erreurs
Configuration d'un cluster Kafka Connect pour la sécurité
__Sécuriser votre connexion à Kafka
Configurer les permissions
__Configuration de la sécurité de l'API REST
organiser

Chapitre 9 : Surveillance de Kafka Connect

Surveillance des journaux
__Configuration de la journalisation
__Comprendre le journal de démarrage
__Analyse des journaux
indicateurs de suivi
__Indicateur Reporter
__Analyse des indicateurs
__Exploration des indicateurs
Indicateurs clés
Métriques d'exécution de Kafka Connect
__Autres indicateurs du système
organiser

Chapitre 10 : Gestion de Kafka Connect dans Kubernetes

Introduction à Kubernetes
Technologie de virtualisation
__Principes de base de Kubernetes
Exécution de Kafka Connect sur Kubernetes
__Image du conteneur
Déploiement de Walker
Réseautage et surveillance
__composition
Déploiement de Kafka Connect à l'aide d'un opérateur Kubernetes
Présentation des opérateurs Kubernetes
Opérateur Kubernetes pour Kafka Connect
Streamji
__Configuration de l'environnement Kubernetes
__Démarrage de l'opérateur
Découvrez les CRD de Kafka Connect
__Déploiement d'un cluster Kafka Connect et de ses connecteurs
__Crédit photo de fabricant de miroirs
organiser

Partie 4 : Création de connecteurs et de plugins personnalisés

Chapitre 11 : Création de connecteurs source et puits

Concepts communs et API
__Création d'un connecteur personnalisé
API __Connecteur
__composition
API __Tâche
__Enregistrements de connexion Kafka
API __ConnectorContext
Mise en œuvre d'un connecteur de source
API __SourceTask
__enregistrement source
API __SourceConnectorContext et SourceTaskContext
__Exactement une fois support sémantique
Mise en œuvre d'un connecteur de synchronisation
API __SinkTask
Enregistrement __Synchroniser
API __SinkConnectorContext et SinkTaskContext
organiser

Chapitre 12 : Étendre Kafka Connect avec des connecteurs et des plugins de traitement

Implémentation d'un plugin de connecteur
API de transformation
API __Predicate
API __Converter et API HeaderConverter
Implémentation d'un plugin Walker
API __ConfigProvider
API __ConnectorClientConfigOverridePolicy
API __ConnectRestExtension
organiser

│ Ce que ce livre aborde │

Concevez un pipeline de données résilient et efficace en combinant les composants principaux de Kafka Connect.
• Capture des modifications de la base de données, création d'un lac de données et mise en miroir des clusters Kafka à l'aide de connecteurs existants
• Déploiement, configuration et exploitation de clusters Kafka Connect dans un environnement commercial
• Surveillance continue des clusters Kafka Connect à l'aide des journaux et des métriques
Exécution d'un cluster Kafka Connect sur Kubernetes
ㆍ Écrire vos propres connecteurs et plugins

│ Public cible de ce livre │

Ingénieurs de données, ingénieurs en fiabilité des sites et développeurs qui interagissent avec l'environnement Kafka Connect.

│ Structure de ce livre │

La première partie présente Kafka et Kafka Connect en général, et s'adresse principalement aux ingénieurs qui découvrent Kafka Connect ou qui commencent tout juste à l'utiliser.

La deuxième partie explique comment construire des pipelines de données à l'aide de Kafka Connect et s'adresse particulièrement aux ingénieurs de données.
Les chapitres 3 et 4 abordent les composants principaux de Kafka Connect et expliquent comment les combiner pour concevoir des pipelines de données robustes et efficaces.
Les chapitres suivants de la partie 2 examinent de plus près les connecteurs les plus populaires.
Le chapitre 5 traite de trois connecteurs fournis par la communauté : Confluent S3 sink, Confluent JDBC source et Debezium MySQL source.
Le chapitre 6 explique en détail le fonctionnement de MirrorMaker, l'outil de mise en miroir de Kafka.
Cela inclut la fonctionnalité et la configuration des connecteurs source, point de contrôle et de pulsation.

La troisième partie est consacrée aux aspects opérationnels de Kafka Connect et s'adresse aux ingénieurs en fiabilité des sites.
Le chapitre 7 explique comment déployer et exploiter un cluster Kafka Connect dans un environnement de production.
Le chapitre 8 couvre tous les paramètres de configuration fournis par Kafka Connect, en fournissant des informations générales et un contexte pour vous aider à décider comment et quand les ajuster.
Le chapitre 9 explique comment surveiller en continu votre cluster Kafka Connect à l'aide des journaux et des métriques.
Enfin, le chapitre 10 aborde les considérations clés relatives à l'exécution d'un cluster Kafka Connect sur Kubernetes.
Cet article présente une introduction générale à Kubernetes et explique les options disponibles pour déployer Kafka Connect sur ce type d'infrastructure.

La partie 4 décrit comment implémenter des connecteurs et des plugins personnalisés pour Kafka Connect et couvre l'API en détail, la rendant adaptée aux développeurs qui souhaitent personnaliser Kafka Connect pour leurs propres cas d'utilisation.

[Note de l'auteur]

Kafka Connect est un excellent outil pour construire des pipelines de données fiables et évolutifs.
Kafka Connect fait partie de la plateforme de streaming Apache Kafka, très populaire, et même s'il n'attire pas autant l'attention que le broker, le client et Kafka Streams, c'est un outil qu'il est bon de connaître.
Kafka Connect vous permet d'échanger des données avec des clusters Kafka et de dupliquer des données entre clusters.
Sa conception modulaire vous permet de créer des pipelines puissants sans écrire une seule ligne de code.

Que ce soit en prenant la parole lors de conférences, en écrivant des articles de blog ou simplement en aidant les passionnés de Kafka, nous sommes tous deux passionnés par le partage de nos connaissances.
Par conséquent, nous avons eu de nombreuses conversations avec des utilisateurs et des développeurs du monde entier au sujet de Kafka et de Kafka Connect.
Étant donné la popularité de Kafka, de nombreuses ressources de qualité sont disponibles à son sujet, notamment des livres, des articles de blog et des tutoriels.
Bien que bon nombre de ces ressources traitent de Kafka Connect, j'ai constaté un manque de couverture approfondie des différents cas d'utilisation, configurations et procédures opérationnelles.
Bien qu'il soit possible de débuter avec Kafka Connect avec une compréhension de base, compte tenu de sa flexibilité et de sa polyvalence, une compréhension plus approfondie de son fonctionnement peut faire toute la différence.

Nous avons donné de nombreuses présentations lors de conférences sur Kafka Connect qui vont bien au-delà des notions de base, mais il y a une limite à tout ce que nous pouvons aborder en 40 minutes.
Pour écrire ce livre, j'ai compilé tout ce que j'ai appris sur Kafka Connect au cours des dernières années, ainsi que tout ce qui ne pouvait pas être abordé lors de conférences ou dans des articles de blog.
Il comprend nos propres expériences individuelles d'utilisation de Kafka Connect, ainsi que des enseignements tirés de l'aide et du conseil apportés aux clients.
Nous avons également pris le temps de passer en revue en détail tous les paramètres, les indicateurs et les API afin d'expliquer en profondeur le fonctionnement de Kafka Connect.
Ce processus impliquait souvent la création de plugins personnalisés pour tester les chemins de code, l'analyse méticuleuse du code et des discussions avec d'autres contributeurs de Kafka.

Ce livre vous apportera toutes les connaissances nécessaires pour construire des pipelines de données fiables, adaptés à vos cas d'utilisation, et les exécuter en environnement de production.


[Note du traducteur]

Kafka Connect n'est pas qu'une simple application de données ; c'est un système distribué puissant conçu pour créer et faire évoluer efficacement des pipelines de données dans les environnements d'entreprise.
Il s'agit d'une technologie clé qui résout les problèmes de complexité et de fiabilité des méthodes d'intégration de données individuelles existantes et assure un flux de données stable dans les environnements de diffusion en continu en temps réel.

Lors de la traduction de ce livre, j'ai eu le sentiment qu'il couvrait en profondeur le fonctionnement interne de Kafka Connect et diverses techniques opérationnelles.
Je suis notamment convaincu que ce livre sera d'une aide pratique précieuse pour les lecteurs, car il explique en détail les problèmes fréquemment rencontrés dans la pratique et leurs solutions.
- Go Seung-beom

L'exploitation d'un lac de données implique souvent la conception et le développement de divers pipelines de données.
De plus, lorsque les systèmes sources sont divers et que des données en temps réel sont nécessaires, il est particulièrement recommandé d'envisager l'utilisation de Kafka Connect.
Ce livre fournit des explications détaillées des composants de Kafka Connect ainsi que des conseils pour la gestion et l'exploitation des clusters.
La plupart des développeurs ayant utilisé Kafka pourront utiliser Kafka Connect sans trop de difficultés, mais les lecteurs qui termineront ce livre distingueront clairement les rôles de Kafka et de Kafka Connect.
Par conséquent, je recommande vivement la lecture de cet article si vous souhaitez transformer/construire un système ETL existant en un système ETL évolutif et en temps réel au sein de l'écosystème Kafka.
- Lee Sang-heon

Travailler comme ingénieur de données dans une startup signifie souvent être responsable de l'intégralité du pipeline de données.
De plus, avec autant de tâches à accomplir, développer une application à partir de zéro peut représenter une charge énorme.
Dans ces situations, l'utilisation de Kafka Connect peut vous aider à construire des pipelines de données plus rapidement et plus efficacement.
Cependant, lors d'une première prise en main de Kafka Connect, cela peut paraître assez compliqué.

Ce livre explique de manière systématique les éléments essentiels au fonctionnement, aidant même les débutants à réduire les essais et les erreurs et à utiliser Kafka Connect de manière fiable.
Bien que des méthodes d'utilisation simples soient disponibles dans diverses ressources, une compréhension approfondie du cycle de vie de Kafka Connect peut vous aider à résoudre des problèmes plus complexes.
De nombreux connecteurs open source sont disponibles, mais ils ne sont pas tous parfaitement adaptés à toutes les situations. Il peut donc arriver que vous ressentiez le besoin de créer votre propre connecteur Kafka personnalisé.
Ce livre simplifie la compréhension du cycle de vie de Kafka Connect et fournit des conseils pratiques pour le développement et l'exploitation de connecteurs personnalisés.

J'ai moi aussi dû créer un connecteur Kafka personnalisé pour répondre à de nouvelles exigences, et les connaissances acquises lors de la traduction de ce livre m'ont permis de le développer et de l'exploiter moi-même.
Kafka Connect n'est peut-être pas la solution miracle à tous les problèmes, mais il ne fait aucun doute qu'il possède un large éventail d'applications en ingénierie des données.
J'espère que ce livre constituera un guide précieux pour les utilisateurs professionnels comme moi, les aidant à trouver des pistes pour résoudre leurs problèmes.
- Hwang Han-hee