Formation Apache Storm : développer des applications pour le Big Data

1/ Introduction à Big Data

• Qu’est-ce que le Big Data

• Apache Storm dans le projet Hadoop

• Concepts fondamentaux et caractéristiques clés du Big Data

• Cloud (publics et privés) et big data

• L’architecture de Storm

2/ Introduction à Storm

• Environnement de développement

• Présentation de Storm : fonctionnalités, architecture, langages supportés

• Création de projets basés sur Storm

• Les composants primitifs : Spouts et Bolts

• Définition des flux

• Modèle de données (clé, valeur)

3/ Scalabilité

• Définition de la haute disponibilité

• Garantie de traitement des flux :

• principe

• paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS

• Traitement parallèle des données

• Scalabilité horizontale :

• Scalabilité des serveurs d’application web

• Scalabilité des bases de données

• Scalabilité : parallélisme dans un cluster storm, ajouts de noeuds, commande "storm rebalance"

4/ Parallélisme des topologies

• Schéma d’exécution d’une topologie (Worker, Executor, Task)

• Maîtriser et provisionner la parallélisation d’une topologie

• Techniques de « Rebalancing »

5/ Fiabilité de traitement des messages

• Le mécanisme de suivi des messages

• Le cycle de vie d’un message

• Traiter les messages avec l’API Java

• Définir la fiabilité avec l’API Storm

• Assurer la fiabilité d’une application : méthodes et stratégies

6/ Tolérance aux pannes

• Principe de fiabilisation des master node, workers node

• Gérer les Bolts

• Projet Kafka

• Définition des transactions

• Topologie transactionnelle et Storm cluster

• Le fonctionnement en cluster avec Zookeeper et Nimbus

7/ Développer pour le cloud

• Utiliser différents langages pour le développement de services (Java, Python, Clojure…)

• Introduction à de nouveaux langages

8/ Storm pour les réseaux sociaux

• L'utilisation de Twitter4J

• Configurer les paramètres de sécurité d’accès

• Gestion d'événements avec Storm

• Définition de callback