Data Engineer Pleno | Plataforma de Dados

🚀 Sobre a Oportunidade

Essa oportunidade é para o time de Plataforma de Dados, que tem a missão de prover as capacidades para ganharmos escala, eficiência e qualidade nas etapas de busca, processamento e uso de dados. É um time apaixonado por desafios, que atua na implementação de soluções de natureza transversal, com objetivo de habilitar e maximizar a entrega de valor, de forma inteligente e contínua, para o negócio e para o nosso cliente através de dados.

Saiba mais sobre nosso dia a dia no Instagram e no LinkedIn.

Confira nossas avaliações no Glassdoor.

🔍 O Que Procuramos

Pré-requisitos Essenciais:

• Linguagens de Programação: Experiência em linguagens de programação relevantes para engenharia de dados, como Apache Spark, Python, Pyspark ou SQL, para manipular, analisar e transformar dados.
• ETL e Pipelines de Dados: Conhecimento em processos de extração, transformação e carga (ETL) e experiência na construção e manutenção de pipelines de dados eficientes e escaláveis (batch e streaming).
• Bancos de Dados e Armazenamento de Dados: Familiaridade com diferentes tipos de bancos de dados (relacionais e não relacionais) e soluções de armazenamento de dados (como Data Lakes), compreendendo as melhores práticas e técnicas para gerenciamento e acesso aos dados.
• Conhecimento em Cloud Azure: Familiaridade com a plataforma de nuvem da Microsoft Azure, incluindo serviços e recursos relacionados ao gerenciamento de dados e análises.
• Experiência com Databricks: Habilidade para trabalhar com o ambiente de análise de dados unificado do Databricks, utilizando suas funcionalidades para processamento e análise de grandes volumes de dados.
• Conceitos e práticas de CI/CD;

• Residir em São Paulo e possuir disponibilidade para atuar no modelo híbrido (2x na semana)

Diferenciais:

• Tiver conhecimento em princípios e práticas de governança e qualidade de dados, incluindo gerenciamento de metadados, segurança de dados;
• Tiver experiência com Data Mesh;
• Tiver experiência com o uso de Delta Lake;
• Tiver amplo conhecimento nas soluções Azure voltadas para dados analíticos;
• Tiver experiência com Apache Airflow;
• Tiver experiência no uso e criação de esteiras de CI/CD no Azure DevOps;

🎯 Desafios e Impacto

• Implementar políticas, processos e ferramentas para definição, responsabilização e democratização dos dados;
• Participar ativamente de decisões arquiteturais chaves de forma corporativa, estabelecendo comunicação clara com arquitetos e demais engenheiros de software e dados;
• Elaborar e conduzir discussões sobre a arquitetura de dados e ferramentas a serem adotadas através de ADRs e RFCs, buscando a melhor solução para o ecossistema XP;
• Disseminar cultura de qualidade em dados provendo capacidades técnicas, definindo processos para tratamento de problemas e orientando implementação de controles nos dados atuais;
• Evoluir as capacidades de captura e ingestão de dados, garantindo segurança, governança, escalabilidade e monitoria dos processos;
• Evoluir as capacidades da plataforma de dados para que as aplicações orquestrem e processem dados em batching e streaming de maneira segura, escalável e monitorada;
• Habilitar o consumo de informações por outras aplicações de tecnologia e por usuários garantindo segurança e escalabilidade e monitoria;
• Garantir e evoluir, em conjunto com times de engenharia e arquitetura, a estratégia de Data Mesh dentro da empresa;
• Participar em melhores práticas de governança de dados junto a outras áreas da empresa;

⏳ Etapas do Processo

1. Triagem inicial: Análise do currículo para verificar a adequação às qualificações e requisitos da vaga.

2. Testes gerais: Avaliação do alinhamento cultural com o teste da Mindsight e teste de raciocínio lógico da Predictive Index.

3. Vídeo entrevista: Uma oportunidade para nos conhecermos melhor e entender suas motivações e experiências.

4. Entrevista com a equipe de Recrutamento: Discussão sobre as expectativas em relação à vaga e aos objetivos profissionais.

5. Avaliação técnica: Entrevista focado nas habilidades específicas necessárias para a função.

6. Entrevista com a liderança: Uma conversa para discutir sua visão e como você pode contribuir para a equipe e a empresa.

7. Entrevista com colegas de trabalho: Interação com futuros pares para avaliar a sinergia e o trabalho em equipe.

8. Entrevista focada em cultura: Exploração dos valores e princípios da empresa para garantir um bom encaixe cultural.

9. Oferta: Apresentação da proposta de trabalho, incluindo detalhes sobre remuneração e benefícios.