Formation #BSI23

Formation Apache Hadoop

Formation avec Restauration incluse
(Déjeuner, Petit Déjeuner et Pauses Cafés)

Durée : 4 jours

Code : BSI23


Sessions programmées :

Du 16 au 19 Fév. 2021

Du 06 au 09 Avril 2021

Du 08 au 11 Juin 2021

Du 21 au 24 Sept. 2021

Du 16 au 19 Nov. 2021

Fin d'Inscription :
Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
  • Pour les entreprises AU MAROC :
    Au minimum 10 JOURS OUVRÉS avant la date de formation
  • Pour les entreprises HORS MAROC :
    Au minimum 15 JOURS OUVRÉS avant la date de formation

Formation dans votre entreprise.

Durée : 4 jours

Code : BSI23


Vous souhaitez réaliser cette formation en vos locaux avec le même programme ?

Vous souhaitez personnaliser le programme de cette formation pour qu'elle réponde aux spécificités de votre entreprise ?

Objectifs

  • Identifier et définir les différents composants de l’écosystème Hadoop
  • Installer et configurer un cluster Hadoop
  • Développer des applications de manipulation de données en utilisant les différents composants de l’écosystème Hadoop
  • Utiliser Hdfs, MapReduce, Yarn, Hive, Sqoop, Hbase, Oozie
Programme
1/ Introduction
  • Définition du périmètre du Big Data
  • Les origines du Big Data
  • La donnée en tant que matière première
  • Le rôle du projet Hadoop
2/ Les composants Hadoop
  • Écosystème Hadoop
  • Fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, …
  • Exemples de cas d'utilisation sur des grands projets
  • Les principaux composants : HDFS pour le stockage et YARN pour les calculs
  • Architecture et principes de fonctionnement de MapReduce
  • HBase
3/ Principales distributions d’Hadoop
  • Hortonworks
  • MapR
  • Cloudera
4/ Mise en place d’une infrastructure Hadoop 5/ Organisation d’un cluster
  • Besoin matériel, réseau
  • Choisir le matériel adapté
6/ Installation Hadoop et configuration initiale
  • Type de déploiement
  • Installation d'Hadoop
  • Installation d'autres composants (Hive, Pig, HBase, Flume…)
7/ Configuration de l’environnement Hadoop
  • Étude des fichiers de configuration
  • modes de configurations : ligne de commandes, API Rest, serveur http intégré, APIS natives
  • Configuration des services: HDFS, YARN, Logs, etc.
  • Configuration des droits d’accès
8/ Gestion d'un cluster Hadoop
  • Gestion des nœuds du cluster Hadoop
  • Les TaskTracker, JobTracker pour MapReduce
  • Gestion des tâches via les schedulers
  • Gestion des logs
  • Utiliser un manager
9/ Manipulation de la base de données Hive
  • Création de bases de données, tables, vues
  • Requêtes grâce au HiveSQL
  • Manipulations de fonctions définies par l’utilisateur (UDF)
  • Gestion des droits utilisateurs
10/ Exploration de l’outil apache pig
  • Pattern et best practices MapReduce
  • Introduction à Pig
  • Caractéristiques du langage : latin
  • Installation / lancement
  • Ecriture d'un script Pig
  • Les fonctions de bases
  • Ajouts de fonctions personnalisées
  • Les UDF
  • Mise en oeuvre
11/ OOZIE
  • Comment planifier ses travaux
  • Utilisation de workflows, coordinateurs, bundles
12/ Optimiser l’exécution de vos travaux
  • Partitionner vos données à l’aide d’Hive
  • Archivez vos données
  • Gestion de la mémoire (JVM)
13/ Sécurité en environnement hadoop
  • Mécanisme de gestion de l'authentification
  • Configuration des ACL
Approche Pédagogique

Approche Pédagogique

  • Pédagogie très opérationnelle fondée sur l'alternance entre théorie et pratique
  • Cas pratiques
  • Remise d’outils
  • Echanges d’expériences
Public cible

Public cible

  • Développeurs
  • DSI
  • Utilisateurs
Dates

Dates

  • Du 16 au 19 Fév. 2021
  • Du 06 au 09 Avril 2021
  • Du 08 au 11 Juin 2021
  • Du 21 au 24 Sept. 2021
  • Du 16 au 19 Nov. 2021
  • Fin d'Inscription :
    Le Bulletin d'Inscription doit être rempli, cacheté, signé et envoyé par email :
    • Pour les entreprises AU MAROC : Au minimum 10 JOURS OUVRÉS avant la date de formation
    • Pour les entreprises HORS MAROC : Au minimum 15 JOURS OUVRÉS avant la date de formation