AWS Data Engineer | Senior (Remote)

.

Responsabilidades e atribuiçõesProjetar, desenvolver e manter pipelines de dados em nuvem (Azure e/ou AWS) com execução recorrente (ex.: a cada X horas, diária, semanal).Implementar processos de ETL/ELT robustos e escaláveis, lidando com grandes volumes de dados e transformações complexas, principalmente utilizando Spark.Desenvolver soluções de processamento distribuído com PySpark em Databricks.Monitorar pipelines, garantindo qualidade, consistência e disponibilidade dos dados, com implementação de alertas, estratégias de recuperação e execução de backfills.Gerenciar, configurar e otimizar clusters Databricks, atuando em performance, escalabilidade, disponibilidade e controle de custos.Integrar múltiplas fontes de dados, incluindo APIs, bancos relacionais, não relacionais e dados em streaming.Realizar modelagem de dados e definição de estruturas de tabelas para diferentes camadas (raw, curated, analytics, feature).Desenvolver e manter pipelines de ingestão e orquestração com ferramentas como Azure Data Factory e Airflow.Implementar ingestão de dados em tempo quase real utilizando Kafka e conceitos de CDC (Change Data Capture).

Requisitos e qualificaçõesProgramação em Python para processamento e automação;Experiência com Azure e/ou AWS aplicados à engenharia de dados;Conhecimento de Azure Data Factory (ADF) / Airflow ou ferramentas equivalentes;Conhecimento sólido em Databricks, incluindo jobs, clusters e estratégias de otimização;Conhecimento intermediário em consumo e integração de APIs REST (Databricks, serviços Azure e AWS;Experiência na construção de pipelines de features para modelos de Machine Learning (feature engineering e feature stores);Noções de modelagem de dados voltada para Machine Learning.