Big Data : fondamentaux de l’analyse de données
Objectifs pédagogiques
- Appréhender le rôle stratégique de la gestion des données
- Assurer la qualité de données
- Appréhender L’importance du cycle de vie des données, des données de référence, et de la gouvernance
- Acquérir les bonnes pratiques en matière de contrôle de qualité des données
- Assurer la mise en oeuvre de la gouvernance de la donnée
Public cible
- MOA
- Chef de projet
- Urbaniste fonctionnel
- Responsable de domaine
- Analystes
- Développeurs
- Data miners
- Futurs data scientists
- Data analysts
- Data stewards
Prochaines Sessions
Inscrivez-vous dès maintenant
Besoin urgent ? Demandez une session personnalisée (délai min. 15-20 jours ouvrés)
Devis personnaliséProgramme Détaillé
- Les origines du Big Data
- Les dimensions en V du Big Data
- Cas d'usages du Big Data
- Les technologies essentielles
- Architecture Big Data
- Master-less vs Master-Slaves
- Les architectures Big Data orientées stockage
- Spécificités du Machine Learning pour le Big Data et domaines d’application
- Nouveaux métiers (Data Scientist, Data Steward...)
- Compétences nouvelles à acquérir
- La vision du Gartner
- Valeur ajoutée du Big Data en entreprise
- Où et comment collecter des données ?
- Les sources de données, les API, les fournisseurs, les agrégateurs…
- Les principaux outils de collecte et de traitement de l’information (ETL)
- Les particularités de la collecte des données semi-structurées et non-structurées
- Genèse et étapes clés
- Hadoop : Fonctions coeurs
- Le système de fichiers Hadoop (HDFS)
- MapReduce : aspects fonctionnels et techniques
- Apache PIG et Apache HIVE
- Les limitations de MapReduce
- Le moteur d'exécution Apache TEZ
- L’apport d’Apache Spark
- Impala
- Le moteur d’exécution Apache TEZ
- Hive in Memory : LLAP
- Big Deep Learning
- La rupture Hardware à venir
- Enjeux
- Le “théorème” CAP
- CAP vs ACID
- Bases de données NoSQL
- Positionnement CAP des éditeurs NoSQL
- Modèle de données (clé, valeur)
- Vue d'ensemble deRedis
- Les Bases de données Document
- Vue d'ensemble de mongoDB
- Les bases de données colonnes
- Vue d'ensemble de Cassandra et HBase
- Bases de données graph
- Le NewSql
- OLAP distribué
- Analyse de cas concrets
- Définition de l’apprentissage machine
- Exemples de tâches (T) du machine learning
- Les différentes expériences (E)
- L’apprentissage
- Approche fonctionnelle de base
- Les variables prédictives
- Les variables à prédire
- Les fonctions hypothèses
- Pléthore d’algorithmes
- Choisir un algorithme d’apprentissage machine
- Sous et sur-apprentissage
- La descente de gradient
- Optimisation batch et stochastique
- Anatomie d’un modèle d’apprentissage automatique
- La chaîne de traitement standard
- Composantes clés et Big Data
- Trois familles d'outils machine learning
- Les librairies de machine learning standards et Deep Learning
- Les librairies Scalables Big Data
- Les plates-formes de Data Science
- Modes de travail avec Spark
- Les trois systèmes de gestion de cluster
- Modes d'écriture des commandes Spark
- Les quatre API Langage de Spark
- Le machine learning avec Spark
- Spark SQL - Le moteur d'exécution SQL
- La création d’une session Spark
- Spark Dataframes
- Spark ML
- L'API pipeline
- Travail sur les variables prédictives
- La classification et la régression
- Clustering et filtrage coopératif
- Architectures types de traitement de Streams Big Data
- NIFI : présentation, composants et interface
- Kafka : présentation, terminologies, les APIs
- Articulation NIFI et Kafka
- Storm : présentation, terminologies, langage (agnostique)
- Articulation Kafka et Storm
- Spark Streaming et Structured Streaming
- Articulation Kafka et Spark
- Storm vs Spark
- Présentation du Cloud Computing
- Cinq caractéristiques essentielles
- Trois modèles de services
- Services Cloud et utilisateurs
- Mode SaaS
- Mode PaaS
- Mode IaaS
- Modèles de déploiement
- Tendances déploiement
- Cloud Privé Virtuel (VPC)
- Focus offre de Cloud Public
- Caractéristiques communes des différentes offres de Cloud Public
- Vue d'ensemble de Amazon AWS
- Vue d'ensemble de Google Cloud Platform
- Vue d'ensemble de Microsoft Azure
- Classement indicatif des acteurs
- Présentation des principaux modules de la distribution Apache Hadoop
- Présentation et comparaison des principales distributions commerciales (Cloudera, Hortonworks…)
- L’infrastructure matérielle et logicielle nécessaire au fonctionnement de Hadoop
- Serveur local ou cloud
- Les concepts de base de l’architecture Hadoop: Data Node, Name Node, Job Tracker, Task Tracker
- Présentation de HDFS (Système de gestion des fichiers de Hadoop)
- Présentation de MapReduce (Outil de traitement de Hadoop)
- Les commandes exécutées au travers de PIG
- Présentation de HIVE pour transformer du SQL en MapReduce
- Challenges Big Data pour la gouvernance des données
- L'écosystème des outils de gouvernance Big Data
- Les 3 piliers de la gouvernance Big Data
- Mise en perspective dans une architecture Big Data
- Management de la qualité des données Big Data
- Tests de validation de données dans Hadoop
- Les acteurs face à la qualité des données Big Data
- Management des métadonnées Big Data
- Vue d'ensemble d'Apache HCatalog
- Vue d'ensemble d'Apache ATLAS
- Management de la sécurité, de la conformité et la confidentialité Big Data
- Vue d'ensemble d'Apache RANGER
- Sécurisation des SI : Tendances
Approche pédagogique
Ressources & Actions
✨ Formations Recommandées
Perfectionnez vos compétences avec ces formations complémentaires
Vous trouverez ici les réponses aux questions les plus fréquentes que nous recevons de la part de nos clients. Notre objectif : vous éclairer et vous accompagner au mieux dans le développement des compétences de vos équipes.
Partie 1 : Nos Formations et Notre Approche Pédagogique
Les deux, mais notre véritable valeur ajoutée réside dans le sur-mesure. Nous partons du principe que chaque entreprise a un contexte, une culture et des défis uniques. Notre processus commence toujours par une phase d'écoute et de diagnostic pour co-construire avec vous le programme qui aura le plus d'impact.
Nos formateurs sont des experts seniors dotés d'une double compétence :
- Une expertise métier solide : Ils ont tous une expérience significative en entreprise au Maroc et comprennent les réalités du terrain.
- Une expertise pédagogique confirmée : Ils sont formés aux techniques d'animation pour adultes, favorisant l'interactivité et la pratique.
Nous nous adaptons à vos contraintes et objectifs avec plusieurs formats :
- Présentiel Intra-entreprise : Chez vous, pour une immersion totale.
- Présentiel Inter-entreprises : Pour favoriser le partage d'expériences.
- Distanciel : Des sessions live, interactives et dynamiques.
Partie 2 : Financement et Aspects Administratifs (Spécificités Marocaines)
Oui, absolument. En tant qu'organisme de formation agréé, nos actions sont éligibles au remboursement via les Contrats Spéciaux de Formation (CSF) gérés par l'OFPPT et les GIAC. C'est un levier essentiel pour optimiser votre budget formation.
Oui, c'est un service clé que nous proposons. Nous vous accompagnons de A à Z dans le montage de votre dossier d'ingénierie financière. Notre expertise du système marocain vous garantit la constitution d'un dossier conforme et le suivi jusqu'au remboursement, transformant cette contrainte administrative en une simple formalité pour vous.
Nos tarifs sont transparents et dépendent de la durée, du niveau de personnalisation, du nombre de participants et du format. Le meilleur moyen d'avoir une idée précise est de nous demander un devis personnalisé et gratuit, qui sera accompagné d'une proposition pédagogique détaillée.
Partie 3 : Processus, Logistique et Suivi
Notre processus est simple et centré sur vos besoins :
- Prise de Contact & Analyse : Échange pour comprendre vos enjeux.
- Proposition sur-mesure : Envoi d'une proposition pédagogique et financière.
- Validation & Planification : Ajustements et fixation du calendrier.
- Réalisation de la Formation.
- Évaluation & Suivi : Mesure de la satisfaction et bilan complet.
Oui. Notre réseau de formateurs nous permet d'intervenir sur l'ensemble du territoire marocain, que vos locaux soient à Casablanca, Rabat, Tanger, Marrakech, Agadir ou dans toute autre ville du Royaume.
Oui, la formation ne s'arrête pas à la fin de la session. Nous assurons un suivi rigoureux : remise des attestations, envoi d'un rapport de synthèse, et mise en place d'une évaluation à froid (quelques semaines après) pour mesurer le transfert des compétences. Des sessions de coaching de suivi sont également possibles.
Partie 4 : Impact et Retour sur Investissement (ROI)
Nous utilisons une approche à plusieurs niveaux (inspirée du modèle de Kirkpatrick) :
- Niveau 1 (Satisfaction) : Évaluation à chaud.
- Niveau 2 (Apprentissage) : Quizz et mises en situation.
- Niveau 3 (Comportement) : Évaluation à froid et entretiens avec les managers.
- Niveau 4 (Résultats) : Analyse de l'impact sur vos indicateurs de performance (KPIs).
Pour trois raisons principales :
- Notre Expertise Locale : Nous sommes des spécialistes du marché marocain et africain, de sa culture et de ses mécanismes administratifs (CSF).
- Notre Approche Sur-Mesure : Nous ne vendons pas de formations, nous construisons des solutions adaptées à votre besoin.
- Notre Engagement sur l'Impact : Nous sommes focalisés sur le retour sur investissement tangible de votre budget formation.
Des questions sur cette formation ?
Notre équipe pédagogique est à votre disposition pour répondre à toutes vos questions et vous accompagner dans votre projet de formation.
La dernière commande pour cette formation a été effectuée il y a 4 jours.
7 personnes regardent actuellement cette page.