Engenheiro de Dados - Sênior

A FCamara busca um Engenheiro de Dados - Sênior, para atuar em parceria com uma grande empresa do segmento de Tecnologia da Informação e Serviços, com mais de 40 anos de mercado. Essa empresa está presente no dia a dia de milhões de brasileiros, desenvolvendo soluções que impactam positivamente alimentação, saúde, transporte e cultura, garantindo mais tempo e qualidade de vida para empresas, trabalhadores e suas famílias.

Você fará parte de um time de alta performance, com autonomia e responsabilidade para criar e evoluir soluções robustas, escaláveis e seguras.

• Atuar na modernização e migração de plataformas legadas de dados para arquiteturas modernas em Azure Databricks e Data Lakehouse.

• Realizar assessment de ambientes legados, identificando oportunidades de modernização e melhoria.

• Executar engenharia reversa de pipelines ETL e workflows desenvolvidos em Oracle e Informatica PowerCenter.

• Projetar, desenvolver e implementar pipelines escaláveis utilizando PySpark, Spark SQL e Delta Lake.

• Migrar processos ETL tradicionais para arquiteturas ELT, garantindo maior desempenho, escalabilidade e governança.

• Desenvolver e manter pipelines batch e near real-time em ambientes distribuídos.

• Implementar e gerenciar arquiteturas em camadas (Bronze, Silver e Gold) seguindo o padrão Medallion Architecture.

• Integrar soluções com serviços do ecossistema Azure, como Azure Data Lake Storage Gen2, Azure Data Factory, Databricks e Azure Key Vault.

• Aplicar boas práticas de engenharia de dados, incluindo versionamento, testes, observabilidade, monitoramento e tratamento de falhas.

• Implementar mecanismos de resiliência, como retry, idempotência e dead-letter.

• Otimizar performance de workloads Spark e consultas SQL, buscando eficiência operacional e redução de custos.

• Implementar e apoiar práticas de governança de dados, controle de acesso, data lineage e gerenciamento de metadados.

• Trabalhar em parceria com áreas de negócio e equipes técnicas para traduzir requisitos em soluções de dados escaláveis e confiáveis.

• Apoiar a definição de arquiteturas modernas de dados alinhadas a conceitos como Data Mesh, Data Vault e Medallion Architecture.

• Experiência sólida como Engenheiro(a) de Dados Sênior.

• Experiência em projetos de migração e modernização de plataformas legadas de dados.

• Conhecimento avançado em Oracle e Informatica PowerCenter.

• Experiência com Azure Databricks, PySpark e Spark SQL.

• Conhecimento em Delta Lake e arquiteturas Lakehouse.

• Experiência com Azure Data Lake Storage Gen2 (ADLS Gen2), Azure Data Factory (ADF) e Azure Key Vault.

• Vivência na construção de pipelines batch, ELT e near real-time.

• Conhecimento em modelagem de dados utilizando Data Vault, Star Schema e Medallion Architecture.

• Experiência em orquestração de pipelines utilizando Azure Data Factory e Databricks Workflows.

• Conhecimento em governança de dados, Unity Catalog, controle de acesso e data lineage.

• Experiência em otimização de performance de aplicações Spark e consultas SQL.

• Conhecimento em práticas de CI/CD, versionamento com Git, testes automatizados e monitoramento.

• Experiência na implementação de mecanismos de resiliência, como retry, idempotência e dead-letter.

• Capacidade de atuar em ambientes críticos, com foco em alta disponibilidade, escalabilidade e governança.

• Boa comunicação para interação com áreas de negócio e equipes multidisciplinares.

Diferenciais:

• Forte experiência em modernização de plataformas legadas.

• Experiência em engenharia reversa de workflows e mapeamentos do Informatica PowerCenter.

• Capacidade de traduzir regras de negócio complexas em pipelines escaláveis e de alta performance.

• Conhecimento em estratégias de otimização e redução de custos no Azure Databricks.

• Experiência na integração entre soluções open source e ambientes cloud.

• Visão arquitetural, atuando não apenas no desenvolvimento, mas também na definição de soluções e padrões técnicos.

• Conhecimento em frameworks modernos de arquitetura de dados, como Data Mesh e Data Vault.