Engenheiro(a) de Dados Azure - Especialista em Databricks - Híbrido em Brasília

Sobre a vaga:

Grande organização cliente da Databricks, que opera a plataforma em escala na Azure, busca um(a) especialista para apoiar a Diretoria Técnica e a equipe que sustenta o ambiente. O objetivo é deixar a solução estável, monitorada, integrada aos sistemas internos e financeiramente eficiente, aplicando boas práticas de mercado.

Este não é um papel de desenvolvimento de pipelines de negócio. É um papel de engenharia e governança de plataforma, com influência técnica e interação frequente com liderança.

Responsabilidades:

• Revisar e evoluir a arquitetura do ambiente Databricks: workspaces, metastore, Unity Catalog, estrutura de contas e ambientes.

• Definir e aplicar padrões de infraestrutura como código para toda a plataforma.

• Apoiar decisões de arquitetura com recomendações claras e fundamentadas.

• Desenhar e revisar a rede Azure: VNet injection, subnets, NSGs, Private Link/Private Endpoints, DNS, rotas, firewall/NVA e conectividade com o ambiente on-premises (ExpressRoute/VPN).

• Definir storage (ADLS Gen2, containers, external locations, credenciais e Managed Identities), desenho de resource groups e subscriptions, tags e políticas (Azure Policy).

• Cuidar de identidade e acesso: Entra ID, SCIM, grupos, service principals e RBAC.

• Implantar observabilidade da plataforma e dos workloads: system tables, métricas, logs, alertas e dashboards.

• Integrar o Databricks aos sistemas internos do cliente (ITSM, SIEM, monitoramento corporativo, catálogos, identidade e outros).

• Estruturar runbooks, SLAs/SLOs, gestão de incidentes e análise de causa raiz.

• Preparar o ambiente para continuidade de negócio: backup, DR e estratégia de recuperação.

• Definir e implantar padrões de CI/CD para notebooks, jobs, pipelines e infraestrutura (Databricks Asset Bundles, Terraform, Azure DevOps ou GitHub Actions).

• Estabelecer promoção entre ambientes, versionamento, testes e quality gates.

• Criar templates e golden paths para as equipes de dados usarem a plataforma de forma padronizada.

• Construir visibilidade de custos: system tables de billing, tags, budgets, chargeback/showback.

• Fazer right sizing de clusters, SQL Warehouses e jobs, com cluster policies, autoscaling, serverless e escolha de instâncias.

• Identificar desperdícios e oportunidades de economia (Predictive Optimization, Liquid Clustering, otimização de jobs, reservas e commit).

• Apresentar a evolução de custo e eficiência aos gestores de forma executiva.

• Aplicar boas práticas de segurança: criptografia, segregação de ambientes, gestão de segredos, auditoria e conformidade.

• Apoiar a governança de dados com Unity Catalog: permissões, lineage, masking e row filters.

Requisitos:

• Experiência comprovada em projetos de grande porte: ter desenhado, implantado e sustentado ambientes Databricks de escala corporativa em produção. Serão solicitados exemplos concretos (tamanho do ambiente, número de usuários e workloads, desafios resolvidos).

• Conhecimento profundo da fundação do Databricks: workspaces, Unity Catalog, compute (clusters, pools, SQL Warehouses, serverless), Jobs/Lakeflow, Delta Lake, system tables e administração de conta.

• Conhecimento avançado de Azure voltado ao Databricks: rede (VNet, Private Link, DNS, firewall), storage (ADLS Gen2), resource groups, Entra ID, Azure Policy e Key Vault.

• Experiência prática com Terraform (providers Databricks e Azure) e CI/CD (Azure DevOps, GitHub Actions ou equivalente).

• Experiência com monitoramento e observabilidade (Azure Monitor, Log Analytics, Grafana, Datadog ou similar) e integração com ferramentas corporativas.

• Experiência com FinOps e otimização de custos em nuvem e em Databricks.

• Boa comunicação com times técnicos e com liderança, capaz de explicar decisões técnicas e trade-offs a públicos executivos.

• Português fluente e inglês técnico para leitura de documentação.

• Disponibilidade para presença no cliente cerca de uma vez por semana (negociável).

Diferenciais:

• Certificações Databricks (Data Engineer, Platform Administrator, Architect) e/ou Azure (AZ-104, AZ-305, AZ-500, DP-203).

• Experiência em setores regulados (financeiro, seguros, saúde, setor público).

• Experiência com migração de plataformas legadas (Hadoop/Cloudera, data warehouses on-premises) para Databricks.

• Conhecimento de segurança avançada e conformidade (LGPD e regulações setoriais).

• Experiência com cargas de ML/IA em produção (MLOps, Model Serving) do ponto de vista de plataforma.

• Vivência em modelos de Platform Engineering e Center of Excellence.

O que oferecemos:

• 🏥 Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
• 💪 Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
• 🧠 Terapia online 100% custeada pela empresa, porque saúde mental importa.
• 🥗 Atendimento em nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
• 🛡️ Seguro de vida com apólice no valor de R$ 125 mil, garantindo mais segurança para você e sua família.
• 🎉 Day off no aniversário, porque o seu dia merece ser especial.
• 🌴 Descanso remunerado, para que você possa recarregar as energias.
• 🏆 Gamificação interna, transformando conquistas em prêmios e reconhecimento.
• 🎓 Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
• 📚 Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.