Accueil > Big Data, SGBD, IA, BI, SAP > Storm : flux de données
Formation #BSI18

Formation Storm : flux de données

Formation avec Restauration incluse
(Déjeuner, Petit Déjeuner et Pauses Cafés)

Durée : 3 jours

Code : BSI18


Sessions programmées :

Du 13 au 15 Jan. 2021

Du 17 au 19 Mars 2021

Du 19 au 21 Mai 2021

Du 21 au 23 Juil. 2021

Du 20 au 22 Oct. 2021

Du 22 au 24 Déc. 2021

Fin d'Inscription :
Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
  • Pour les entreprises AU MAROC :
    Au minimum 10 JOURS OUVRÉS avant la date de formation
  • Pour les entreprises HORS MAROC :
    Au minimum 15 JOURS OUVRÉS avant la date de formation

Formation dans votre entreprise.

Durée : 3 jours

Code : BSI18


Vous souhaitez réaliser cette formation en vos locaux avec le même programme ?

Vous souhaitez personnaliser le programme de cette formation pour qu'elle réponde aux spécificités de votre entreprise ?

Objectifs

  • Mettre en oeuvre Storm pour le traitement de flux de données
  • Comprendre les fondamentaux du développement d'applications Big Data en temps réel
  • Assurer le traitement des grosses quantités de données en temps réel
  • Disposer des connaissances nécessaires pour configurer un environnement de développement
Programme
1/ Introduction à l'architecture temps réel
  • Traitements temps réel
  • Les architectures LAMDA
  • Les architectures KAPPA
  • Les architectures SMACK
2/ Introduction à Storm
  • Problématiques du Big Data
  • Le Cloud Computing et le Big Data
  • Présentation de Storm : fonctionnalités, architecture, langages supportés
  • Définitions : spout, bolt, topology
  • Apache Storm dans le projet Hadoop
  • Storm et Spark Streaming : différences des modes de traitement de données
  • Du Map Reduce aux topologies de Storm
  • Développement et déploiement de topologies
  • Modèle de données (clé, valeur)
4/ Architecture apache Storm
  • Étude des composants d'un cluster Storm : master node "nimbus" et worker nodes
  • Positionnement par rapport à un cluster Hadoop
  • Le modèle de données
  • Différents types de flux
  • Rôles des Nimbus et ZooKeeper
  • La relation entre Nimbus et Supervisors
  • Le cluster intermédiaire de Zookeepers et leurs relations avec les Nimbus et Supervisors
  • Définition de l'environnement de développement
  • Création de projets basés sur Storm
  • Les composants primitifs : Spouts et Bolts
  • Comprendre le cycle de vie du déploiement d’une topologie
  • Paramétrer la communication interne de Storm
5/ Premiers pas avec Storm
  • Configuration d'un environnement de développement
  • Installation d'un cluster Storm
  • Le projet storm-starter
6/ Gestion des flux de données
  • Définition des flux
  • Les différentes stratégies de distribution de données
  • Implémenter des stratégies personnalisées
  • Réaliser des jointures sur les flux
  • Création de topologies regroupants des flux entre différents noeuds
  • Communication entre flux en JSON
  • Lecture de flux d'origines diverses (JMS, Kafka, …)
7/ Haute disponibilité
  • Tolérance aux pannes : principe de fiabilisation des master node, workers node, nimbus
  • Garantie de traitement des flux : principe, paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS
  • Traitements temps réel avec Trident
  • Scalabilité horizontale : Notion de taux de disponibilité, Ajouter des serveurs d’application web , Scalabilité des bases de données
8/ Parallélisme des topologies
  • Schéma d’exécution d’une topologie (Worker, Executor, Task)
  • Maîtriser et provisionner la parallélisation d’une topologie
  • Techniques de « Rebalancing »
9/ Fiabilité de traitement des messages
  • Le mécanisme de suivi des messages
  • Le cycle de vie d’un message
  • Traiter les messages avec l’API Java
  • Définir la fiabilité avec l’API Storm
  • Assurer la fiabilité d’une application : méthodes et stratégies
10/ Gérer l’exécution des topologies
  • Utiliser les Storm Metrics
  • Supervision avec les commandes Storm CLI
  • Storm UI
Approche Pédagogique

Approche Pédagogique

  • Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
  • Cas pratiques
  • Remise d’outils
  • Echanges d’expériences
Public cible

Public cible

  • Chefs de projets
  • Data scientists
  • Développeurs
Dates

Dates

  • Du 13 au 15 Jan. 2021
  • Du 17 au 19 Mars 2021
  • Du 19 au 21 Mai 2021
  • Du 21 au 23 Juil. 2021
  • Du 20 au 22 Oct. 2021
  • Du 22 au 24 Déc. 2021
  • Fin d'Inscription :
    Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
    • Pour les entreprises AU MAROC : Au minimum 10 JOURS OUVRÉS avant la date de formation
    • Pour les entreprises HORS MAROC : Au minimum 15 JOURS OUVRÉS avant la date de formation