When you enroll through our links, we may earn a small commission—at no extra cost to you. This helps keep our platform free and inspires us to add more value.
Formação Spark com Pyspark : o Curso Completo
Domine a mais importante ferramenta para Cientistas de Dados e Engenheiros de Dados para processamento de dados massivos
This Course Includes
udemy
5 (1.9K reviews )
10h 59m 
english
Online - Self Paced
professional certificate
Udemy
About Formação Spark com Pyspark : o Curso Completo
Bem vindo ao melhor e mais atualizado curso de Spark!
Na era "Big Data" o Spark se tornou a principal ferramenta de processamento de dados no mundo devido a sua capacidade de processar volumes massivos de dados com alta performance, se tornando uma ferramenta essencial para Cientistas e Engenheiros de Dados. Sua arquitetura distribuída permite processar dados utilizando paralelismo e memória, persistindo dados quando necessário. Além disso o Spark é capaz de importar dados de praticamente qualquer fonte, bem como também exportar dados processados para os principais formatos e bancos de dados utilizados. Do ponto de vista profissional, conhecer Spark é uma das habilidades mais importantes ao lado de Machine Learning e Python. E o melhor disso é o que Spark já traz tudo isso. Você pode utilizar Spark com Python, através do Pyspark, e você pode criar modelos de Machine Learning utilizando as próprias bibliotecas do Spark. Neste curso prático, você vai começar do zero e aprender todas as principais características desta ferramenta. Entre outras coisas você vai:
Aprender a instalar e configurar o Spark
Conhecer o principal objeto de dados:
DataFrames
do Spark
Processar DataFrames através de transformações e ações
Consultar Dados no Spark com
Sintaxe SQL
Criar Views e fazer Joins
Persistir dados em disco
, criando tabelas em formatos como Parquet e ORC
Importar dados
de fontes como Mongodb, PostgreSQL e arquivos como Json e Parquet
Criar aplicações que você pode rodar na linha de comendo
Machine Learning
com Spark: crie modelos e faça previsões
Construa
Pipelines
de Marchine Learning
Processe dados em tempo real com
Spark Structured Streaming
Otimize
o Spark com Cache, Persistência, Particionamento e Bucketing
Use Spark com
Jupyter Notebooks
Use Spark com Pandas e outras bibliotecas do Python
Construa um Cluster!
Você ainda vai encontrar material do curso para baixar: scripts, slides e dados de exemplo.
What You Will Learn?
- Conhecer a Arquitetura e Detalhes do Spark .
- Criação de DataFrames .
- SparkSQL: Crie tabelas e consulta utilizando SQL .
- Conecte com outras fontes de Dados, como Postgres e MongoDB .
- Cria Aplicações Spark .
- Desenvolva modelos preditivos Utilizado Machine Learnig e Spark ML .
- Cria aplicações próximas ao tempo real com Spark Streaming .
- Conheça Técnicas de Otimização do Spark .
- Aprenda a Construir um Cluster com Spark!.