Programme détaillé

INTRODUCTION A HADOOP

• L'ère du Big Data
• Architecture et composants de la plateforme Hadoop
• HDFS
• NameNode / DataNode / ResourceManager
• MapReduce et YARN

INTRODUCTION A SPARK

• Qu'est-ce que Spark ?
• Spark vs MapReduce
• Fonctionnement
• RDD
• DataFrames
• Data Sets
• Comment interagir avec Spark ?
• PySpark : programmer avec Spark en Python

INSTALLATION DE SPARK

• Sur une infrastructure distribuée
• En local

SPARK POUR LA MANIPULATION DES DONNEES - PYSPARK

• Utilisation de SparkSQL et des DataFrames pour manipuler des données
• Charger des données depuis Hadoop, depuis des fichiers CSV, texte, JSON...
• Transformer des données (création de DataFrames, ajout de colonnes, filtres...)

UTILISATION DE SPARK.ML POUR LE MACHINE LEARNING

• Apprentissage supervisé
• Forêts aléatoires avec Spark
• Mise en place d'un outil de recommandation
• Traitement de données textuelles
• Automatiser vos analyses avec des pipelines

SPARK STREAMING

• Introduction à Spark Streaming
• La notion de "DStream"
• Principales sources de données
• Utilisation de l'API
• Manipulation des données

SPARK SQL

• Initialisation à Spark SQL
• Création de DataFrames
• Manipulation des DataFrames (opérations basiques, agrégations et groupBy, missing data)
• Chargement et stockage de données (avec Hive, JSON...)

DEMONSTRATION GRAPHX ET GRAPHFRAMES

• Présentation de GraphX
• Principe de création des graphes
• API GraphX
• Présentation de GraphFrames
• GraphX vs GraphFrames