Engenheiro de Dados AWS Sênior | Remoto

Papel na empresa

O Engenheiro de Dados Sênior na Dataside atua como liderança técnica nos projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Tem autonomia para decisões técnicas de ponta a ponta, garantindo entregas alinhadas às necessidades do cliente. Além disso, realiza mentorias, revisões criteriosas e impulsiona a evolução técnica da empresa. Com uma visão estratégica sobre o valor dos dados, conecta suas entregas ao impacto nos negócios. Mais do que desenvolver soluções, atua como parceiro consultivo, provocando reflexões e fortalecendo a relação com o cliente por meio de propostas bem fundamentadas e confiança.

Responsabilidades

Ser engenheiro principal em contratos e conduzir decisões técnicas de forma autônoma.
Apoiar o Tech Lead na liderança técnica e estratégica dos projetos.
Realizar revisões técnicas aprofundadas e mentorias com o time.
Propor arquiteturas batch e streaming com visão de escalabilidade, eficiência e alinhamento ao negócio.
Construir planos de melhoria de performance e redução de custo.
Diagnosticar gargalos técnicos e operacionais e propor soluções sustentáveis.
Comunicar soluções de forma clara para diferentes níveis (negócio, técnico, gestão).
Trabalhar com múltiplas integrações, altos volumes de dados e demandas críticas de performance.

Requisitos

Experiência com o ecossistema Databricks, incluindo suas principais funcionalidades, recursos e possibilidades de aplicação.

Experiência prática com Terraform e Infraestrutura como Código (IaC) para provisionamento de recursos na AWS.

Conhecimento em AWS, especialmente IAM, policies, roles, permissões e segurança em nuvem, além de EC2, computação em nuvem e sua aplicação em pipelines de dados.

Conhecimento em monitoramento, mensuração e otimização de custos de infraestrutura AWS.

Experiência com Apache Airflow para orquestração e arquitetura de pipelines de dados.

Domínio avançado de Python, com foco em orientação a objetos (OOP), Clean Code, legibilidade e manutenibilidade.

Experiência com LLMs e aplicações agênticas, incluindo o uso de Code Agents para otimização e automação de fluxos de trabalho.

Conhecimento em governança e ciclo de vida dos dados, incluindo ingestão, qualidade, limpeza, conformidade e consumo.

Sólida visão arquitetural de dados, com conhecimento de padrões, escalabilidade e construção de soluções eficientes.

Experiência com documentação técnica e definição de padrões para plataformas self-service.

Comunicação clara, objetiva e assertiva, com capacidade de traduzir decisões técnicas para diferentes públicos, gerenciar stakeholders e alinhar expectativas.

Autonomia e proatividade na condução de demandas, resolução de problemas e tomada de decisões.

Capacidade analítica e senso crítico construtivo para identificar gargalos e propor melhorias, com foco em eficiência operacional, escalabilidade e redução de custos e retrabalho.

Mentalidade de plataforma como produto, considerando a experiência dos usuários internos e a evolução contínua das soluções.

Visão sistêmica e alinhamento das soluções de dados aos objetivos e às necessidades do negócio.

Hard Skills

Spark (avançado), com domínio de Catalyst Optimizer, persistência, broadcast joins, caching e bucketing.
Python com padrões SOLID e reutilização de componentes.
SQL avançado com tuning, particionamento, otimização de planos de execução.
Consumo e integração via APIs RESTful.
Databricks (avançado): Unity Catalog, SQL Warehouse, Workflows, DLT, Pools e configuração de clusters.
AWS Analytics Stack: S3, Athena, Glue, EMR, Redshift, Kinesis, Lambda, Step Functions, Lake Formation, Glue DataBrew, Macie, CloudWatch, SNS, Cost Explorer.
Amazon Redshift (nível avançado): Otimização com sort keys, compressão, vacuum tuning, WLM avançado, SVL/SVV logs, Redshift Spectrum, arquitetura híbrida com S3.
Modelagem de dados: Data Vault, 3NF, Dimensional, pipelines event-driven.
Bancos NoSQL (DynamoDB, MongoDB).
CI/CD com Git, GitHub Actions ou GitLab CI.
Conceito de testes unitários aplicados à pipelines de dados.
Frameworks e práticas de observabilidade e qualidade de dados: Great Expectations, Airflow, Prometheus, Grafana.
Criação de soluções reutilizáveis e componíveis, com foco em Data Products e estratégias Data Mesh.
Avaliação e planejamento de custo em nuvem: uso de Cost Explorer, dimensionamento com AWS Pricing Calculator.

Soft Skills

Liderança técnica e influência estratégica.
Capacidade de “aprender a aprender”.
Clareza e profundidade na comunicação com áreas técnicas e de negócio.
Postura consultiva, com escuta ativa e proatividade.
Espírito de colaboração, mentoria e formação de equipe.
Organização, foco em entrega e alto senso de responsabilidade.
Inglês intermediário.

Certificações Desejáveis

AWS Data Engineer Associate.
AWS Solutions Architect Associate.

Diferenciais

AWS Certified Data Analytics Specialty.
AWS Solutions Architect – Professional.
Databricks Certified Professional Data Engineer.

O que oferecemos:

• 🏥 Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
• 💪 Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
• 🧠 Terapia online 100% custeada pela empresa, porque saúde mental importa.
• 🥗 Atendimento em nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
• 🛡️ Seguro de vida com apólice no valor de R$ 125 mil, garantindo mais segurança para você e sua família.
• 🎉 Day off no aniversário, porque o seu dia merece ser especial.
• 🌴 Descanso remunerado, para que você possa recarregar as energias.
• 🏆 Gamificação interna, transformando conquistas em prêmios e reconhecimento.
• 🎓 Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
• 📚 Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.