Sobre o curso

Através de nossa abordagem hands-on, você desenvolverá as habilidades necessárias para criar pipelines de dados eficientes, realizar análises avançadas e aproveitar ao máximo as ferramentas Databricks e Spark. Este é o curso ideal para profissionais que desejam dominar o processamento de big data e se destacar em um cenário de análise de dados em constante evolução.

O que você irá aprender

Dominar as técnicas de processamento de big data com Databricks e Spark.
Desenvolver a capacidade de criar pipelines de dados eficientes.
Realizar análises avançadas em grandes volumes de dados.
Preparar-se para enfrentar os desafios do mundo dos dados em grande escala.

Para quem é este curso

Um curso essencial para você que deseja:

Dominar o processamento de big data.
Criar pipelines de dados eficientes.
Realizar análises avançadas em grandes volumes de dados.

Conteúdo do curso

1. Introdução ao Databricks
  1. Boas Vindas
  2. Download dos Materiais
  3. Contextualizando nosso projeto
  4. Visao geral e principais componentes do Databricks
  5. Cenarios e casos de uso da ferramenta
  6. Criando um workspace do Databricks
  7. Navegando e compreendendo a interface
  1. Entendendo sobre clusters
  2. Criando nosso cluster e explorando notebooks
  3. Comandos mágicos e utilities dos notebooks databricks
  4. Visão geral da arquitetura Databricks
  5. Visão geral da arquitetura Spark
  6. O que é e como criar um Data Lake na nuvem
  7. Como conectar o seu Data Lake no Databricks Parte I
  8. Como conectar o seu Data Lake no Databricks Parte II
  1. Aprofundando nos requisitos do projeto
  2. Lendo dados em CSV e definindo esquemas dos dados
  3. Aplicando transformações nas colunas e salvando o resultado
  4. Desafio Realizando o seu primeiro ETL
  5. Sugestão do instrutor para resolver o desafio
  6. Lendo dados em JSON
  7. Lendo dados em múltiplos CSV ao mesmo tempo
  8. O que é e para que serve o particionamento de dados
  1. Entendendo a orquestração dos notebooks
  2. Executando notebooks dentro de outro notebook para melhorar nosso código
  3. Definindo parâmetros de notebook para o seu código
  4. O que é e como criar o seu primeiro workflow
  5. Executando notebooks em sequência via Jobs Databricks
  6. Monitorando suas execuções
  1. Refinando os requisitos do projeto
  2. Aplicando filtros nos seus dados
  3. Unindo dados através de joins
  4. Desafio/ unindo tabelas e aplicando filtros
  5. Sugestão do instrutor para resolver o desafio
  6. Manipulando datas no Databricks
  7. Principais agregações de dados
  8. Conhecendo as window functions no Databricks
  9. Desafio/ realizando agregações através de window functions
  1. Introdução ao ecossistema SQL do Databricks
  2. Executando queries SQL no Databricks
  3. Diferenças entre tabelas gerenciadas e externas
  4. Escrevendo os resultados das transformações em tabelas SQL
  5. Hands-on/ analisando e visualizando resultados com SQL
  1. Disponibilizando os dados do nosso workspace
  2. Conectando os seus dados no Power BI
  3. Aplicando a modelagem dimensional
  4. Criando as visualizações de dados
  1. O que é e quais as vantagens do Delta Lake – Parte I
  2. O que é e quais as vantagens do Delta Lake – Parte II
  3. O que é e quais as vantagens do Delta Lake – Parte III
  4. O que é e quais as vantagens do Unity Catalog
  1. Entendendo a gestão de usuários e grupos
  2. Como aplicar segurança e acessos a tabelas
  3. Aplicando segurança de chaves com o Azure Key Vault
  1. Entendendo a API de dados de futebol
  2. Lendo dados da API no Databricks
  3. Introdução ao Azure Data Factory – Companheiro ideal do Databricks
  4. Introdução ao Machine Learning no Databricks
  5. Encerramento do curso
  1. Pesquisa de Feedback
  2. Compartilhe sua História

Conheça seu instrutor

Fábio Marquez

Engenheiro de Dados
Especialista em serviços de dados da Microsoft Azure
Especialista em Databricks e Spark