AWS Data Engineer | Senior (Remote)

.

Responsabilidades e atribuiçõesDesenvolver e manter pipelines de dados ETL/ELT em ambientes de alta volumetria e complexidade, utilizando Apache Spark (Scala e Python) e AWS;Atuar na evolução e expansão da Plataforma Analítica, com foco em arquiteturas e tecnologias de Big Data;Levantar, analisar e traduzir

requisitos de negócio em soluções técnicas de dados;Elaborar e manter modelos de dados analíticos, métricas e indicadores;Integrar múltiplas fontes de dados, incluindo streams (Apache Kafka / MSK) e bancos SQL e NoSQL;Desenvolver, operar e evoluir pipelines de dados em ambientes produtivos;Garantir escalabilidade, performance, confiabilidade, qualidade e governança das informações;Preparar, tratar e disponibilizar dados para consumo analítico e operacional;Automatizar a criação, configuração e monitoramento de pipelines e ambientes de dados;Atuar na gestão de SLAs, correção de falhas e resolução de incidentes em fluxos de dados;Trabalhar de forma colaborativa em squads ágeis, apoiando decisões técnicas e promovendo boas práticas de engenharia de dados;Contribuir com mentoria técnica e disseminação de conhecimento no time.

Requisitos e qualificaçõesExperiência sólida com serviços da Amazon Web Services, especialmente em arquitetura serverless, Data Lake e integração orientada a eventos;Vivência prática com armazenamento, orquestração, mensageria, streaming, catalogação e bancos NoSQL no ecossistema AWS;Experiência na construção e manutenção de pipelines batch e streaming, com orquestração e tratamento de falhas;Domínio de Python (principal linguagem de desenvolvimento);Experiência com PySpark para processamento de dados;SQL avançado (uso diário em Athena);Experiência com MySQL (modelagem, performance e troubleshooting);Organização de Data Lake em camadas raw / trusted / refined;Conhecimento em formatos Parquet e JSON, particionamento e otimização de leitura;Experiência com integração de dados via APIs RESTful;Vivência em ambientes críticos, com foco em SLAs, confiabilidade e observabilidade;Perfil com senso de dono, postura propositiva e participação ativa em decisões arquiteturais.Informações adicionais