Data Engineer (AWS/LLMs) | SR (Remote)

.

Responsabilidades e atribuiçõesDefinir e evoluir arquitetura de dados cloud-native na AWS; Projetar modelos de dados otimizados para: consulta operacional (APIs) e consumo pelo agente conversacional;Liderar migração de dados históricos do mainframe; Garantir consistência, integridade e rastreabilidade; Trabalhar com grandes volumes e dados históricos complexos; Construir e manter pipelines de ingestão e trans

formação; Integrar fluxo existente (PeopleSoft, mainframe, RDS); Otimizar consultas no PostgreSQL; Implementar estratégias de particionamento, indexação e caching (Redis); Reduzir latência para consultas frequentes; Garantir aderência a LGPD, políticas de retenção; Implementar controle de acesso a dados, mascaramento / anonimização quando necessário, auditoria e lineage; Estruturar dados para consumo por LLMs; Apoiar criação de camadas semânticas; Trabalhar com embeddings / indexação semântica (diferencial); Implementar validações de qualidade de dados; Monitorar pipelines e consistência;

Requisitos e qualificaçõesExperiência com Data Engineering em AWS;Construção e manutenção de pipelines de dados (ingestão e trans

formação);Integração de dados de sistemas legados e corporativos (mainframe, PeopleSoft, RDS);Experiência com modelagem de dados para diferentes consumos (APIs e analytics/IA);Forte atuação em PostgreSQL (otimização de queries, performance, indexação e particionamento);Conhecimento em caching (Redis);Experiência com grandes volumes de dados e migração de sistemas legados;Práticas de governança de dados (LGPD, auditoria, lineage, controle de acesso e qualidade);Estruturação de dados para consumo por LLMs (camadas semânticas e embeddings – diferencial);