Databricks Data Engineer | Pleno (Remote)

.

Responsabilidades e atribuiçõesDesenvolver e manter pipelines de dados batch e streaming no Databricks utilizando PySpark e Spark SQL; Implementar pipelines seguindo arquitetura Medallion (Bronze, Silver e Gold) já definida pela arquitetura de dados; Apoiar na migração de pipelines e jobs legados de ferramentas como IBM DataStage, Azure Data Factory e Azure Synapse Analytics para Databricks Workflows; Auxiliar na migração de rotinas e notebooks do ambiente Databricks on Azure para AWS; Desenvolver e versionar notebooks e códigos utilizando Databricks Repos e Git; Implementar testes básicos e rotinas de qualidade de dados em pipelines; Apoiar a modelagem dimensional do Data Warehouse (Star Schema) junto ao time de arquitetura; Colaborar com o time de DevOps na automação de deploys e CI/CD; Participar da implementação de governança de dados com Unity Catalog; Monitorar e dar suporte a pipelines de dados em produção.

Requisitos e qualificaçõesExperiência como Engenheiro(a) de Dados ou Data Engineer Pleno; Conhecimento em Databricks e Apache Spark (PySpark e Spark SQL); Experiência com Python e SQL avançado; Vivência com ambientes em nuvem, preferencialmente AWS (S3, Glue Catalog); Conhecimento em arquitetura Lakehouse e Delta Lake; Experiência com pipelines de dados batch e/ou streaming; Familiaridade com Git e versionamento de código; Noções de modelagem dimensional (Star Schema / Data Warehouse); Noções de CI/CD aplicadas a dados;

Diferenciais: Conhecimento em IBM DataStage (migração ou suporte a legado); Conhecimento em Azure Data Factory e Azure Synapse Analytics; Experiência com Databricks em Azure; Noções de governança de dados e catálogo (Unity Catalog ou similares).