Accueil > Big Data, SGBD, IA, BI, SAP > Apache Kafka : écosystème centralisé de streaming
Formation #BSI15

Formation Apache Kafka : écosystème centralisé de streaming

Formation avec Restauration incluse
(Déjeuner, Petit Déjeuner et Pauses Cafés)

Durée : 3 jours

Code : BSI15


Sessions programmées :

Du 06 au 08 Jan. 2021

Du 10 au 12 Mars 2021

Du 12 au 14 Mai 2021

Du 14 au 16 Juil. 2021

Du 13 au 15 Oct. 2021

Du 15 au 17 Déc. 2021

Fin d'Inscription :
Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
  • Pour les entreprises AU MAROC :
    Au minimum 10 JOURS OUVRÉS avant la date de formation
  • Pour les entreprises HORS MAROC :
    Au minimum 15 JOURS OUVRÉS avant la date de formation

Formation dans votre entreprise.

Durée : 3 jours

Code : BSI15


Vous souhaitez réaliser cette formation en vos locaux avec le même programme ?

Vous souhaitez personnaliser le programme de cette formation pour qu'elle réponde aux spécificités de votre entreprise ?

Objectifs

  • Comprendre le fonctionnement de kafka
  • Appréhender l'architecture de Kafka
  • Etre en mesure d’installer et configurer votre cluster Kafka
  • Savoir configurer kafka pour intégrer les données de différents formats et de sources différentes
  • Mettre en œuvre KSQL
  • Utiliser les APIs Kafka
  • Construire une architecture haute-disponibilité
  • Pouvoir interagir avec votre cluster et mettre en place la sécurité des données
Programme
1/ Introduction à apache Kafka
  • Enjeux du Big Data et Stream Data
  • L’historique du projet Kafka
  • L’intérêt de Kafka dans le Big Data
  • Fonctionnalités, principe de fonctionnement de Kafka
  • La réponse de Kafka, ses cas d’utilisation
  • L’architecture fonctionnelle de Kafka
  • Les composants du système : brokers, topics, consumers, producers…
  • Comparaisons entre les différents brokers et Kafka
  • Communication entre applications
  • Liaison avec Zookeeper
  • Rationale de Kafka
  • Les différentes APIs
  • Outils connexes
2/ Mise en œuvre
  • Préconisations d'installation et pré-requis
  • Installer Kafka, Mise en service
  • Configurer les composants
  • Installer l’écosystème de développement de Kafka
  • Installer le matériel nécessaire
  • Effectuer des manipulations de base
  • Gérer, administrer et compacter les Logs
  • Présentation des commandes en ligne
  • Effectuer les actions de base sur les topics
  • Mise en oeuvre d'une chaîne de base
  • Visualisation des messages avec kafka-console-consumer
  • Mise en œuvre de Zookeeper
3/ Configuration et utilisation des APIS
  • Utiliser l’API pour les Producers
  • Utiliser l’API pour les Consumers
  • Configurer le Broker de message
  • Configurer les Producers et les Consumers
  • Streams API
  • Connect API
  • AdminClient API
4/ Architecture à haute disponibilité
  • La réplication : Facteur de réplication, Partitions
  • Brokers
  • Les nœuds Zookeeper, distribution
  • Plateforme Confluent : Schema Registry et REST Proxy
  • Kafka Connect
  • Gestion des groupes et des charges
  • Considération sur le réseau
  • Architecture avec Multi-Data-centers
5/ Vue d'ensemble de ksql et écosystème
  • Cas d'utilisation de KSQL
  • KSQL et Kafka
  • Utilisation interactive de KSQL
  • Architecture de KSQL
  • KSQL CLI
  • Les modes serveur de KSQL
6/ Utiliser KSQL
  • Kafka Streams et Tables
  • Message Kafka et formats de données
  • Manipulation et agrégation de données
  • Fonctions définies par l'utilisateur (UDF)
  • Enrichissement des données et jointures
  • Agrégations fenêtrées (Windowed opération)
  • Métrique et observabilité
7/ Kafka connect
  • Présentation des fonctionnalités
  • Types de connecteurs
  • Data-stream scalable avec Kafka Connect
  • Utiliser Kafka Connect pour l’intégration de données
8/ Kafka streams
  • Cas d’usages et principes de base
  • Exemple d’utilisation de l’API Streams
  • Les apports de Kafka Streams : applications temps réel et micro-services
  • Configuration d’une application Streams
  • Topologie d’une application Streams
  • Opérations Stateless et Stateful
  • Kafka Streams DSL
  • Les opérations de type fenêtre glissante
  • L’API processeur
9/ Mise en place de la sécurité du système
  • Comprendre les enjeux et les principes de sécurité d’un système Kafka
  • Chiffrement SSL et authentification SASL
  • Utiliser des listes de contrôle ACL pour les autorisations
  • Authentifier avec Zookeeper
10/ Les outils autour de kafka
  • Outils de gestion de Kafka
  • Monitoring de Kafka
  • Apache Avro
Approche Pédagogique

Approche Pédagogique

  • Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
  • Cas pratiques
  • Remise d’outils
  • Echanges d’expériences
Public cible

Public cible

  • Chefs de projet
  • Développeurs
Dates

Dates

  • Du 06 au 08 Jan. 2021
  • Du 10 au 12 Mars 2021
  • Du 12 au 14 Mai 2021
  • Du 14 au 16 Juil. 2021
  • Du 13 au 15 Oct. 2021
  • Du 15 au 17 Déc. 2021
  • Fin d'Inscription :
    Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
    • Pour les entreprises AU MAROC : Au minimum 10 JOURS OUVRÉS avant la date de formation
    • Pour les entreprises HORS MAROC : Au minimum 15 JOURS OUVRÉS avant la date de formation