Programme détaillé

INTRODUCTION AUX TECHNOLOGIES BIG DATA

• Stockage et traitement de données massives : problèmes et solutions
• Panorama des technologies NoSQL, bases de données distribuées et en colonnes

PRESENTATION DE L'ECOSYSTEME HADOOP

• Coût, performance et évolutivité : promesses et gains effectifs
• Les composants logiciels majeurs : Zookeeper, HDFS, HBase
• Les différentes utilisations : comme solution de stockage, d'ETL, de traitement batch

HADOOP PAR LA PRATIQUE

• Notions de base : HDFS et programmation Map/Reduce
• TP : Prise en main d'une installation en mode pseudo distribué, commandes de base et manipulation de fichiers sous HDFS

DESIGN D'UN CLUSTER HADOOP

• Topologie : les différents serveurs et leurs rôles
• Configuration matérielle
• Les différentes distributions Hadoop
• Choix des briques logicielles selon l'usage du cluster
• Dimensionnement

PROVISIONNEMENT ET DEPLOIEMENT

• Déploiement manuel
• Outils d'automatisation (Chef/Puppet, Whirr/Pallet)
• Installation d'Hive, Pig, Hbase
• Configuration et paramétrage
• TP : Provisionnement et déploiement d'un cluster de taille moyenne

ADMINISTRATION ET OPERATION

• Gestion des données (backup, localisation et réplication)
• Gestion des jobs et schedulers
• Monitoring du cluster
• Ajout et décommission de nœuds
• Benchmarks, tuning et optimisation
• Résolution de problèmes, login et debugging

INTEGRATION AU SI

• Stratégies et étapes d'intégration
• Les différentes couches d'abstraction selon le public utilisateur
• Connection aux bases de données relationnelles via Sqoop et JDBC
• Ingestion de données via Flume
• Interfacer avec les services avals

HADOOP ET SES COMPLEMENTS

• Forces et faiblesses de la plateforme selon les cas d'utilisation
• Alternatives et compléments
• Comment intégrer Hadoop à Storm, Cassandra, Mongo, Giraph ...

DEPLOIEMENT A GRANDE ECHELLE

• Hadoop sur le cloud : l'offre d'Amazon, Elastic MapReduce
• Hadoop chez Facebook, LinkedIn, Orbitz...