Formation Apache Spark : développer des applications pour le Big Data
Objectifs pédagogiques
- Comprendre le fonctionnement de Spark
- Intégrer Spark dans un environnement Hadoop
- Manipuler des données structurées avec Spark sql
- Faire de la programmation parallèle avec Spark sur un cluster
Public cible
- Développeurs
- Architectes
Prochaines Sessions
Inscrivez-vous dès maintenant
Besoin urgent ? Demandez une session personnalisée (délai min. 15-20 jours ouvrés)
Devis personnaliséProgramme Détaillé
- Introduction au Big Data
- Les challenges du Big Data
- Batch vs le temps réel dans le Big Data Analytics
- Vue d'ensemble de l'écosystème
- Les options de l'analyse en temps réel
- Quelles solutions apportent Spark au Big Data ?
- Historique du Framework
- Origine du projet
- Streaming Data - Spark
- In-memory Data - Spark
- Présentation de Spark
- Principes de base du fonctionnement de Spark
- Environnement et outils de Spark
- Comparaison avec l'environnement Apache Hadoop
- Les différents modules de Spark
- Langages supportés
- Ecosystème Spark
- Les modes de Spark
- Installation de Spark
- Vue d'ensemble de Spark en cluster
- Spark Standalone cluster
- Spark Web UI
- Utilisation de Spark Shell
- Création d'un contexte Spark
- Chargement d'un fichier en Shell
- Réalisation d'opérations basiques sur un fichier avec Spark Shell
- Présentation de l'environnement de développement SBT
- Créer un projet Spark avec SBT
- Exécuter un projet Spark avec SBT
- Le mode local
- Le mode Spark
- Le caching sur Spark
- Persistance distribuée
- Mise en pratique en Java, Scala et Python
- Notion de contexte Spark
- Présentation des RDD (Resilient Distributed Dataset)
- Différentes méthodes de création des RDD : depuis un fichier texte, un stockage externe
- Manipuler et réutiliser des RDD
- Accumulateurs et variables broadcastées
- Utiliser des partitions
- Fonctions, gestion de la persistance
- RDD et MapReduce
- Requêter des DataFrames avec des expressions sur les colonnes nommées
- Les requêtes de groupement et d’aggrégation
- Les jointures
- Introduction aux RDD
- Les sources de données de RDD
- Créer et sauvegarder des RDD
- Les opérations sur les RDD
- Écrire et passer des fonctions de transformation
- Fonctionnement des transformations de Spark
- Conversion entre RDD et DataFrames
- Les RDD clé-valeur
- Map-Reduce : principe et usage dans Spark
- Autres opérations sur les RDD de paires
- Lecture/écriture de données : texte, JSon, Parquet, HDFS, fichiers séquentiels
- Filtrage de données, enrichissement
- Calculs distribués de base
- Travail sur les RDDs
- Lazy execution
- Impact du shuffle sur les performances
- RDD de base, key-pair RDDs
- Spark et SQL
- L'API Dataset et DataFrames
- Optimisation des requêtes
- Mise en oeuvre des Dataframes et DataSet
- Les différents types de sources de données
- Interopérabilité avec les RDD
- Performance de Spark SQL
- JDBC/ODBC server et Spark SQL CLI
- Requêter des fichiers et des vues
- L’API catalogue de Spark
- Comptabilité Hive
- Différents cluster managers : Spark en autonome, avec Mesos, avec Yarn, avec Amazon EC2
- Architecture : SparkContext, Cluster Manager, Executor sur chaque noeud
- Définitions : Driver program, Cluster manager, deploy mode, Executor, Task, Job
- Mise en oeuvre avec Spark et Amazon EC2
- Soumission de jobs, supervision depuis l'interface web
- Configurer un cluster en mode Standalone
- Packager une application avec ses dépendances
- Déployer des applications avec Spark-submit
- Dimensionner un cluster
- Localiser les données du HDFS
- Partitionner les RDD
- Programmer et exécuter les opérations parallèles
- Mettre en cache le partitionnement des données
- Gérer la persistance des données
- Présentation et configuration des propriétés de Spark
- Prototypage d’opérations avec Spark Shell
- Compilation et génération d’une application
- Notion de Streaming
- Objectifs , principe de fonctionnement : stream processing
- Présentation des Discretized Streams (DStreams)
- Source de données : HDFS, Flume, Kafka, …
- Manipulation de l'API
- Comparaison avec Apache Storm
- Présentation de GraphX
- Les différentes opérations
- Créer des graphes
- Vertex and Edge RDD
- Présentation de différents algorithmes
- Introduction au Machine Learning
- Fonctionnalités : Machine Learning avec Spark, gestion de la persistance
- Les fonctionnalités d'extraction et les statistiques basiques
- Les différentes classes d'algorithmes
- Présentation de SparkML et MLlib
- Implémentations des différents algorithmes dans MLlib
- Support de RDD
- Mise en oeuvre avec les DataFrames
- Algorithmes itératifs et résolution de problèmes
- Opérations sur les données graphiques
- Les terminologies communes au Machine Learning
- Applications du Machine Learning
- Spark ML API
- Transformateurs et estimateurs
- Les pipelines
- Travailler avec un pipeline
- DAG Pipelines
- La vérification pendant l'exécution
- Passage de paramètres
- Sélection de modèles via une validation croisée
- Les types de données
- Mettre en place le Clustering en utilisant K-Means
- Gaussian Mixture
- Power Iteration Clustering (PIC)
- Latent Dirichlet Allocation (LDA)
- Le filtrage collaboratif
- Classification
- Régression
- Exemple de régression
- Linéaire
- Gestion des variables partagées
- Données broadcastées
- Accumulateurs
- Méthodes et outils d’optimisation des performances
Approche pédagogique
Ressources & Actions
✨ Formations Recommandées
Perfectionnez vos compétences avec ces formations complémentaires
Vous trouverez ici les réponses aux questions les plus fréquentes que nous recevons de la part de nos clients. Notre objectif : vous éclairer et vous accompagner au mieux dans le développement des compétences de vos équipes.
Partie 1 : Nos Formations et Notre Approche Pédagogique
Les deux, mais notre véritable valeur ajoutée réside dans le sur-mesure. Nous partons du principe que chaque entreprise a un contexte, une culture et des défis uniques. Notre processus commence toujours par une phase d'écoute et de diagnostic pour co-construire avec vous le programme qui aura le plus d'impact.
Nos formateurs sont des experts seniors dotés d'une double compétence :
- Une expertise métier solide : Ils ont tous une expérience significative en entreprise au Maroc et comprennent les réalités du terrain.
- Une expertise pédagogique confirmée : Ils sont formés aux techniques d'animation pour adultes, favorisant l'interactivité et la pratique.
Nous nous adaptons à vos contraintes et objectifs avec plusieurs formats :
- Présentiel Intra-entreprise : Chez vous, pour une immersion totale.
- Présentiel Inter-entreprises : Pour favoriser le partage d'expériences.
- Distanciel : Des sessions live, interactives et dynamiques.
Partie 2 : Financement et Aspects Administratifs (Spécificités Marocaines)
Oui, absolument. En tant qu'organisme de formation agréé, nos actions sont éligibles au remboursement via les Contrats Spéciaux de Formation (CSF) gérés par l'OFPPT et les GIAC. C'est un levier essentiel pour optimiser votre budget formation.
Oui, c'est un service clé que nous proposons. Nous vous accompagnons de A à Z dans le montage de votre dossier d'ingénierie financière. Notre expertise du système marocain vous garantit la constitution d'un dossier conforme et le suivi jusqu'au remboursement, transformant cette contrainte administrative en une simple formalité pour vous.
Nos tarifs sont transparents et dépendent de la durée, du niveau de personnalisation, du nombre de participants et du format. Le meilleur moyen d'avoir une idée précise est de nous demander un devis personnalisé et gratuit, qui sera accompagné d'une proposition pédagogique détaillée.
Partie 3 : Processus, Logistique et Suivi
Notre processus est simple et centré sur vos besoins :
- Prise de Contact & Analyse : Échange pour comprendre vos enjeux.
- Proposition sur-mesure : Envoi d'une proposition pédagogique et financière.
- Validation & Planification : Ajustements et fixation du calendrier.
- Réalisation de la Formation.
- Évaluation & Suivi : Mesure de la satisfaction et bilan complet.
Oui. Notre réseau de formateurs nous permet d'intervenir sur l'ensemble du territoire marocain, que vos locaux soient à Casablanca, Rabat, Tanger, Marrakech, Agadir ou dans toute autre ville du Royaume.
Oui, la formation ne s'arrête pas à la fin de la session. Nous assurons un suivi rigoureux : remise des attestations, envoi d'un rapport de synthèse, et mise en place d'une évaluation à froid (quelques semaines après) pour mesurer le transfert des compétences. Des sessions de coaching de suivi sont également possibles.
Partie 4 : Impact et Retour sur Investissement (ROI)
Nous utilisons une approche à plusieurs niveaux (inspirée du modèle de Kirkpatrick) :
- Niveau 1 (Satisfaction) : Évaluation à chaud.
- Niveau 2 (Apprentissage) : Quizz et mises en situation.
- Niveau 3 (Comportement) : Évaluation à froid et entretiens avec les managers.
- Niveau 4 (Résultats) : Analyse de l'impact sur vos indicateurs de performance (KPIs).
Pour trois raisons principales :
- Notre Expertise Locale : Nous sommes des spécialistes du marché marocain et africain, de sa culture et de ses mécanismes administratifs (CSF).
- Notre Approche Sur-Mesure : Nous ne vendons pas de formations, nous construisons des solutions adaptées à votre besoin.
- Notre Engagement sur l'Impact : Nous sommes focalisés sur le retour sur investissement tangible de votre budget formation.
Des questions sur cette formation ?
Notre équipe pédagogique est à votre disposition pour répondre à toutes vos questions et vous accompagner dans votre projet de formation.
La dernière commande pour cette formation a été effectuée il y a 3 jours.
6 personnes regardent actuellement cette page.