Engenheiro de Dados | Holding

A pessoa Engenheira de Dados irá trabalhar junto com nosso Arquiteto de Dados, executando toda a nossa estrutura de engenharia de dados, desde e extração, até a entrega estruturada para o usuário final consumir em relatórios e dashboards.Estamos crescendo a cada ano e estamos expandindo significativamente nosso portfólio de produtos e serviços para clientes internos.

• Desenvolver e manter pipelines de ingestão, transformação e carga de dados utilizando Azure Data Factory e demais soluções Azure;
• Construir e evoluir as camadas da arquitetura Medalhão (Raw, Bronze, Silver e Gold) no Databricks com Delta Lake;
• Modelar dados utilizando o padrão Data Vault e criar Delta Tables otimizadas para consumo analítico;
• Monitorar e otimizar jobs Spark, com atenção à eficiência de custo e consumo de DBUs no Databricks;
• Governar dados com Unity Catalog — tags, comentários, qualidade, rastreabilidade e conformidade;
• Participar de discussões de arquitetura, propondo soluções escaláveis e sustentáveis no ecossistema Azure e Databricks

• Ensino superior completo
• Databricks &
• Cloud:Databricks: Delta Lake, Delta Tables, Databricks Workflows e Unity Catalog
• Azure Data Factory e Azure Data Lake Storage (ADLS)
• Visão de FinOps e otimização de custos em cloud (DBUs, auto-stop, cluster sizing).Linguagens &
• Processamento:Python, PySpark e SQL para processamento e transformação de dados
• Boas práticas de desenvolvimento e código limpo.Integração &