Data Engineer (Databricks) | PL (Remote)

.

• Desenvolvimento de uma plataforma de Crédito Comercial e de Agronegócio;
• Elaborar modelagem funcional e de dados levando em consideração as necessidades de negócio;
• Construção e manutenção de pipelines de dados escaláveis e confiáveis, utilizando tecnologias modernas de processamento;
• Ingestão, transformação e disponibilização de dados com qualidade e performance;

• Experiência com Apache Spark para processamento distribuído de dados;
• Experiência com Apache Airflow para orquestração de pipelines de dados;
• Conhecimento em Apache Kafka para processamento e integração de dados em tempo real;
• Experiência com dbt (Data Build Tool) para transformação e modelagem de dados;
• Vivência com bancos de dados SQL e NoSQL, como PostgreSQL, MongoDB e Cassandra;
• Experiência com plataformas de dados em nuvem, como Databricks, AWS Glue e BigQuery;
• Conhecimento em implementação e manutenção de arquiteturas Data Lake e Data Lakehouse;