AWS Data Science | Specialist (Remote)

.

Responsabilidades e atribuiçõesLiderar o desenvolvimento e evolução das capacidades da Feature Store: data lineage, feature views, feature recommendation e novos motores de consulta;Projetar e implementar tabelas Apache Iceberg com foco em performance de leitura, versionamento e evolução de schema;Arquitetar e otimizar a camada de serving com Redis para features em tempo real com SLOs rigorosos de latência;Integrar e otimizar Amazon EMR como motor de consulta e processamento em escala;Definir e implementar pipelines de feature selection e trans

formação com rastreabilidade end-to-end;Estabelecer padrões de qualidade, versionamento e governança de features para toda a plataforma;Atuar como referência técnica para times de dados e ciência que consomem a Feature Store.

Requisitos e qualificaçõesExpertise em engenharia de features em plataformas de ML corporativas (Feast, Tecton, Hopsworks ou equivalentes);Domínio avançado de Apache Spark/PySpark para processamento distribuído em escala;Profundo conhecimento de Apache Iceberg e arquiteturas lakehouse (comparativo com Delta Lake e Hudi);Expertise em Redis para feature serving em baixa latência, incluindo estratégias de cache invalidation e serialização eficiente;Experiência sólida com AWS e seus serviços de dados em produção (S3, Glue, EMR, Redshift, Athena).

Desejável: Domínio de data lineage e catálogos de metadados (DataHub, OpenMetadata, Marquez) em produção, experiência com Amazon EMR: configuração, otimização de clusters e tuning de jobs Spark, expertise em práticas de MLOps com foco em versionamento e rastreabilidade de artefatos de dados, atuação anterior em contexto financeiro com dados de alta cardinalidade, alta frequência e

requisitos regulatórios, conhecimento de ferramentas de qualidade de dados em escala (Great Expectations, Soda, dbt tests).

Liderar o desenvolvimento e evolução das capacidades da Feature Store: data lineage, feature views, feature recommendation e novos motores de consulta;

Projetar e implementar tabelas Apache Iceberg com foco em performance de leitura, versionamento e evolução de schema;

Arquitetar e otimizar a camada de serving com Redis para features em tempo real com SLOs rigorosos de latência;

Integrar e otimizar Amazon EMR como motor de consulta e processamento em escala;

Definir e implementar pipelines de feature selection e transformação com rastreabilidade end-to-end;

Estabelecer padrões de qualidade, versionamento e governança de features para toda a plataforma;

Atuar como referência técnica para times de dados e ciência que consomem a Feature Store.

Expertise em engenharia de features em plataformas de ML corporativas (Feast, Tecton, Hopsworks ou equivalentes);

Domínio avançado de Apache Spark/PySpark para processamento distribuído em escala;

Profundo conhecimento de Apache Iceberg e arquiteturas lakehouse (comparativo com Delta Lake e Hudi);

Expertise em Redis para feature serving em baixa latência, incluindo estratégias de cache invalidation e serialização eficiente;

Experiência sólida com AWS e seus serviços de dados em produção (S3, Glue, EMR, Redshift, Athena).

Desejável: Domínio de data lineage e catálogos de metadados (Data

Hub, Open

Metadata, Marquez) em produção, experiência com Amazon EMR: configuração, otimização de clusters e tuning de jobs Spark, expertise em práticas de ML

Ops com foco em versionamento e rastreabilidade de artefatos de dados, atuação anterior em contexto financeiro com dados de alta cardinalidade, alta frequência e requisitos regulatórios, conhecimento de ferramentas de qualidade de dados em escala (Great Expectations, Soda, dbt tests).