Engenheiro(a) de Dados | Databricks

Senioridade: Sênior

Breve Resumo do Projeto: Atuar nas frentes estruturantes da plataforma de dados, acelerando a ingestão, organização, governança e disponibilização dos dados no Databricks, garantindo que as informações estejam disponíveis de forma padronizada, segura e escalável para os diferentes times consumidores. O profissional terá papel importante na evolução da plataforma de dados, apoiando a consolidação do Databricks como ambiente central de processamento e disponibilização de dados, utilizando o Unity Catalog como camada de governança e o Microsoft Fabric como ferramenta complementar nos fluxos de integração e ingestão.

Descrição das Principais Atividades e Reponsabilidades:

• Projetar, desenvolver e evoluir pipelines de ingestão de dados para o Databricks.
• Atuar na integração de dados provenientes de bancos relacionais, APIs, Sharepoints, arquivos, sistemas corporativos, Data Lakes e outras plataformas.
• Desenvolver pipelines utilizando recursos nativos do Databricks (+Asset Bundles) e Azure Data Factory.
• Apoiar a migração e onboarding de novas fontes de dados para a plataforma.
• Estruturar dados seguindo arquiteturas em camadas, como Bronze, Silver e Gold.
• Estruturar e disponibilizar datasets, schemas e tabelas por meio do Unity Catalog.
• Definir e aplicar padrões de governança, organização, nomenclatura e acesso aos dados.
• Configurar permissões, grupos e políticas de acesso no Unity Catalog.
• Apoiar iniciativas de lineage, rastreabilidade e governança de dados.
• Desenvolver processos de transformação utilizando SQL, PySpark e Spark.
• Implementar mecanismos de qualidade, validação e monitoramento dos pipelines.
• Trabalhar na otimização de performance e custo dos workloads no Databricks.
• Apoiar a construção de frameworks reutilizáveis de ingestão.
• Automatizar processos de deployment e execução dos pipelines.
• Atuar em conjunto com times de Arquitetura, Engenharia de Dados, Segurança, Governança e áreas consumidoras.

Diferenciais:

• Atuação com Power BI.

Como Aplicar: Todas as incrições devem ser realizadas através do nosso portal de VAGAS (https://jump.inhire.app/vagas).

Informações da Empresa:

Nascida do objetivo de atender projetos e prestar serviços de forma eficiente e diferenciada somos uma empresa especializada em serviços de tecnologia e análise de dados, contando com uma equipe altamente capacitada em diversas áreas. Atendemos uma variedade de projetos, oferecendo expertise na captação e análise de dados, bem como a concepção e desenvolvimento de produtos.

Diferenciamo-nos pelo uso de uma metodologia única, proporcionando resultados de alta performance e qualidade com agilidade e eficiência. Acreditamos em ultrapassar o convencional, trazendo inovação para todos os segmentos de negócio.

Com mais de 12 anos de experiência no mercado de tecnologia, a Jump destaca-se como a parceira ideal para extrair o máximo potencial de seus dados de maneira eficaz e ágil. Nossa equipe especializada está sempre pronta para atender às necessidades específicas de nossos clientes em dados, a qualquer momento.