When you enroll through our links, we may earn a small commission—at no extra cost to you. This helps keep our platform free and inspires us to add more value.
Spark avec Scala - Pratique avec le Big Data pour Débutants
Avec 70% de pratique et seulement avec votre localhost ! Apache Spark ne sera plus un secret pour vous !
This Course Includes
udemy
4.1 (255 reviews )
8h 30m 
english
Online - Self Paced
professional certificate
Udemy
About Spark avec Scala - Pratique avec le Big Data pour Débutants
Sans aucun doute
Apache Spark
est le framework open source qui a montré sa réussite auprès de plusieurs géant de l’informatique et de l’industrie.
Apache Spark
nous permet d’analyser et traiter des données massives
structurées
,
semi structurées
et
non structurées
.
Apache Spark
fonctionne avec de la programmation distribuée et en mémoire (
in-memory
) afin d’accélérer les traitements et en s’appuyant sur plusieurs machines d’un réseau (
Cluster
). Dans cette formation vous aurez besoin uniquement d’un PC connecté à internet. Vous allez apprendre à mettre en place un environnement local avec une machine Virtuelle
Linux
(VM), télécharger
Spark
, télécharger
Scala
et la configuration de
Spark
en utilisant
Scala
. Vous allez vous familiariser avec les principes fondamentaux de Spark en utilisant le langage
Scala
.
Apache Spark
est écrit en
Scala
. Il fonctionne en Java virtuel machines (JVM). Vous aurez une mise à niveau en douceur avec le langage de programmation
Scala
avec une initiation à la programmation fonctionnelle. Manipuler un
RDD
(le cœur moteur de
Apache Spark
) avec des collections de données sera un jeux d’enfant. Vous allez découvrir dans la partie
Spark SQL
les
DataFrame
à partir :
d’une collection de données,
des fichiers en entrée tel que csv, Json, Parquet
de base de données PostgreSQL Surement vous avez entendu parler des traitements des données qui arrivent en temps réel, sous le nom
Streaming
. Une Partie de cette formation bien détaillée vous attend afin que vous puissiez monter en compétence rapidement avec
Spark Streaming
avec des cas pratiques.
What You Will Learn?
- Préparer un environnement de travail en créant une machine virtuelle avec les installations et les configurations. .
- Apprendre le langage de programmation Scala. .
- Se familiariser et comprendre le fonctionnement des RDDs avec des cas pratiques sous Spark Shell. .
- Découvrir les fonctions de transformation, d’action et comprendre le DAG. .
- Vous allez utiliser le Spark SQL avec les Dataframes en partant des entrées et produire des sorties dans chacun des formats Json, Parquet et csv. .
- Toujours avec les Dataframes vous allez apprendre à connecter Apache Spark avec une Base données postgreSQL. .
- Créer les User-Defined Functions appelée aussi les fonctions UDF et des DataSets avec Spark Shell. .
- Effectuer des traitements avec le composant Spark Streaming afin de traiter des données en temps réel que vous allez générer vous-même. Show moreShow less.