Programme détaillé

INTRODUCTION

• Présentation de Spark
• Origine du projet
• Apports
• Principe de fonctionnement
• Langages supportés

PREMIERS PAS

• Utilisation du Shell Spark avec Scala ou Python
• Gestion du cache

REGLES DE DEVELOPPEMENT

• Mise en pratique en Java et Python
• Notion de contexte Spark
• Différentes méthodes de création des RDD
• - Depuis un fichier texte, un stockage externe
• Manipulations sur les RDD (Resilient Distributed Dataset)
• - Fonctions
• - Gestion de la persistance

STREAMING

• Objectifs
• Principe de fonctionnement
• Notion de StreamingContext
• DStreams
• Démonstrations

CLUSTER

• Différents cluster managers
• - Spark en autonome
• - Mesos
• - YARN
• - Amazon EC2
• Architecture
• - SparkContext
• - Cluster manager
• - Executor sur chaque nœud
• Définitions
• - Driver program
• - Cluster manager
• - Deploy mode
• - Executor
• - Task
• - Job
• Mise en oeuvre avec Spark et Amazon EC2
• Soumission de jobs
• Supervision depuis l'interface Web

INTEGRATION HADOOP

• Création et exploitation d'un cluster Spark / YARN

SUPPORT CASSANDRA

• Description rapide de l'architecture Cassandra
• Mise en oeuvre depuis Spark
• Exécution de travaux Spark s'appuyant sur une grappe Cassandra