Accueil > Big Data, SGBD, IA, BI, SAP > Apache Nifi : gestion des Flux de Données
Formation #BSI16

Formation Apache Nifi : gestion des Flux de Données

Formation avec Restauration incluse
(Déjeuner, Petit Déjeuner et Pauses Cafés)

Durée : 3 jours

Code : BSI16


Sessions programmées :

Du 17 au 19 Fév. 2021

Du 07 au 09 Avril 2021

Du 09 au 11 Juin 2021

Du 22 au 24 Sept. 2021

Du 10 au 12 Nov. 2021

Fin d'Inscription :
Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
  • Pour les entreprises AU MAROC :
    Au minimum 10 JOURS OUVRÉS avant la date de formation
  • Pour les entreprises HORS MAROC :
    Au minimum 15 JOURS OUVRÉS avant la date de formation

Formation dans votre entreprise.

Durée : 3 jours

Code : BSI16


Vous souhaitez réaliser cette formation en vos locaux avec le même programme ?

Vous souhaitez personnaliser le programme de cette formation pour qu'elle réponde aux spécificités de votre entreprise ?

Objectifs

  • Comprendre l'architecture et les concepts de flux de données de NiFi
  • Pouvoir installer et configurer Apache NiFi
  • Créer des flux de données entre différents systèmes
  • Développer des extensions à l'aide d'API NiFi et tierces
  • Comprendre le concept de programmation "flow-based"
  • Personnaliser et développer votre propre processeur Apache NiFi
  • Intégrer Apache NiFi et Apache Kafka
Programme
1/ Introduction NiFi : installation et concepts fondamentaux
  • Différence entre données froides et données chaudes
  • Généralités sur la gestion des flux de données, les pipelines de données et ETL
  • Présentation des outils et technologies Big Data
  • Les cas d'usage d'Apache NiFi : EAI, Big Data, IoT, …
  • Présentation générale de NiFi : architecture, positionnement et cas d’usages
  • Concepts de base et terminologie : Processors, FlowFile, Connectors…
  • La création d'un flux et son fonctionnement
  • Composants et fonctionnalités
  • Hadoop (HDFS et MapReduce) et Spark
  • Installer et configurer Apache NiFi
  • Prise en main de l’interface
  • Approches de développement
  • Outils de développement d'applications et état d'esprit
  • Extraction, transformation et chargement (ETL) des outils et de la mentalité
2/ La programmation basée sur les flux (« flow-based »)
  • Concepts de programmation "flow-based" et les workflows
  • Le projet Open Source Apache NiFi et ses concurrents (Apache Camel, Node-RED, …)
  • L'écosystème NiFi et ses distributions (Hortonworks DataFlow, …)
  • Les fonctionnalités essentielles
  • Les pré-requis d'installation et les modes de fonctionnement
3/ Démarrer avec NiFi : création de flux de données
  • Ajouter et configurer un processor : GetFile
  • Créer un premier flux avec PutFile et comprendre son fonctionnement
  • Les différents types de processeurs disponibles
  • Configurations et connexions
  • Générer des Flow Files avec GenerateFlowFile et ReplaceText
  • Utiliser les attributs
  • Introduction aux variables et à variable registry
4/ Mise en oeuvre de NiFi
  • Composants, événements et modèles de processeur
  • Le format des FlowFiles
  • Le langage EL et la gestion de conditions de routage
  • Les principaux processeurs et leurs paramètres
  • L'utilisation de scripts (Groovy, Python, …)
  • La gestion d'erreurs
  • L'utilisation de templates
  • Services de contrôleur
  • Tests et dépannage
  • Contribuer à Apache NiFi
5/ Débugger NiFi et monitoring
  • Debugging et gestion des erreurs depuis l’interface
  • Utiliser Reporting Task
  • Configurer Backpressure
  • Provenance des données
  • Surveiller les logs
6/ Intégration avec apache kafka
  • NiFi en producteur de données pour Kafka
  • NiFi en consommateur de données
  • Cas d’usages
7/ Cluster et big data
  • Le fonctionnement en cluster avec Zookeeper
  • L'intégration dans un environnement Big Data (Hadoop HDFS, Spark)
  • Mise en pratique : configuration d'un cluster avec Zookeeper
8/ Extensions
  • Les principes de fonctionnement d'un Processor
  • Le paramétrage et l'accès aux données d'un flux
  • Le packaging d'un Processor dans un NAR
Approche Pédagogique

Approche Pédagogique

  • Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
  • Cas pratiques
  • Remise d’outils
  • Echanges d’expériences
Public cible

Public cible

  • Architecte
  • Tech lead
  • Développeurs
Dates

Dates

  • Du 17 au 19 Fév. 2021
  • Du 07 au 09 Avril 2021
  • Du 09 au 11 Juin 2021
  • Du 22 au 24 Sept. 2021
  • Du 10 au 12 Nov. 2021
  • Fin d'Inscription :
    Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
    • Pour les entreprises AU MAROC : Au minimum 10 JOURS OUVRÉS avant la date de formation
    • Pour les entreprises HORS MAROC : Au minimum 15 JOURS OUVRÉS avant la date de formation