When you enroll through our links, we may earn a small commission—at no extra cost to you. This helps keep our platform free and inspires us to add more value.
Super Curso Databricks + Delta Lake: juntos roadmap
O ecossistema Databricks como você nunca viu
This Course Includes
udemy
4.7 (71 reviews )
5h 18m 
english
Online - Self Paced
professional certificate
Udemy
About Super Curso Databricks + Delta Lake: juntos roadmap
Não estamos falando de um simples treinamento, estamos falando do uso de uma das ferramentas mais utilizadas pelas empresas em todo o mundo, você virá aprender juntamente comigo sobre como gerenciar seus dados na nuvem, como orquestrar pipelines em R, Python, Scala e SQL tudo junto, como fazer com que um simples arquivo de dados, tenha o poder de controlar as suas transações como um banco de dados. Venha conhecer então tudo isso com
Databricks + Databricks Delta Lake.
O Treinamento começará na imersão Databricks, tudo que precisa saber para operacionalizar a ferramenta e construir pipelines nas linguagens mais utilizadas pelos engenheiros de dados, cientistas de dados que são R, Python, Scala e SQL. Você entenderá conceitos importantes sobre cluster, nós, o uso do spark, o monitoramento dos jobs e compreenderá em diversos scripts como criamos arquivos em diversos formatos, principalmente no parquet, preparado para este mundo cloud. Depois de compreender bem o Databricks, você irá aprender um dos seus principais componentes, o uso do Databricks Delta Lake, que consegue transformar arquivos de dados em processos de transação como fazem os bancos de dados, ou seja, conseguirá executar comandos como INSERT, UPDATE, DELETE e muito mais utilizando técnicas como Delta Travel Time e o controle de Schema de dados, conhecido como Schema Evolution. O que é importante saber, teremos um treinamento com 2 cursos em 1, com o que realmente importa e interessa nesta área, trabalhar ativamente com dados e conseguir tirar proveito dos seus resultados, trabalhando com o que há de mais atual sobre ferramentas na nuvem. Venha e comece hoje mesmo.
What You Will Learn?
- Entendendo a arquitetura chamada Lakehouse sobre o Data Lake no Databricks .
- Construindo Delta Lake com processamento em batch, streaming em lote .
- Controle de transações sobre os dados, como um banco de dados .
- Trabalhando com características ACID (Atomicidade, Consistência, Isolamento, Durabilidade) ao Delta Lake .
- Entendendo versionamento dos dados, permite que os dados sejam acessados e revertam para versões anteriores de dados, controle de históricos .
- Uso das fases de ingestão, refinamento e enriquecimento dos dados .
- Diferenças das arquiteturas Data Lake x Delta Lake .
- Aprendendo como otimização dos processos de coleta e tratamento dos dados, reduzindo o tempo de processamento e descartando o que não for útil .
- Trabalhando a criação de tabelas Delta e como gerar históricos de dados .
- Trabalhando com cluster, DBFS, Notebook em R, Scala, Pyhton e SQL .
- Delta Time Travel como retornar versões de dados e comandos de controle .
- Controle de auditoria, agindo na conformidade de dados quanto de depuração simples para entender como os dados mudaram ao longo do tempo .
- Executando reversões nos dados, evitando duplicação e realizando refinamento, ajustes, atualizações e exclusões dos dados .
- Executando scripts batch e streaming .
- Entendo o que significa checkpoint e controle de gravações dos dados .
- Trabalhando com Schema Evolution na inclusão de atributos as tabelas delta .
- Visualização para explorar resultados de consultas de diferentes perspectivas .
- Construção de gráficos e Dashboards .
- Unificação de dados em diversos formatos: texto, JSON, PARQUET, dentre outros .
- Trabalhada por administrador da plataforma, analista de dados, cientista de dados e engenheiro de dados com diversas funcionalidades .
- Aprendizado processamento distribuído em SPARK .
- Entendo o que é Databricks File System (DBFS) seu sistema de arquivos .
- Entendo sobre Cluster .
- Aprendendo a gerenciar e criar Notebooks em R, SCALA, Python e SQL .
- Executando scripts multilinguagens .
- Gerenciando a ingestão de dados e análise de dados, gerando gráficos e dashboards .
- Construindo na versão community .
- Trabalhando com a biblioteca dbutils Python .
- Integrando o Databricks ao Power BI Show moreShow less.