Engenheiro de Dados GCP Sênior - Remoto

Papel na empresa

O Engenheiro de Dados GCP Sênior na Dataside atua como referência técnica nos projetos, apoiando o Tech Lead e contribuindo para o desenvolvimento da equipe e disseminação de conhecimento. Possui autonomia para tomar decisões técnicas de ponta a ponta, garantindo entregas escaláveis, eficientes e alinhadas às necessidades do cliente.

Além de desenvolver soluções robustas de engenharia de dados, atua na definição de arquiteturas, otimização de pipelines, gestão de custos e melhoria contínua dos ambientes de dados. Realiza mentorias, revisões técnicas e compartilha boas práticas com o time.

Com visão estratégica sobre o valor dos dados, conecta as soluções técnicas aos objetivos de negócio, atuando como parceiro consultivo dos clientes e propondo soluções que impulsionem resultados.

Responsabilidades

• Atuar como referência técnica nos projetos, conduzindo decisões arquiteturais e técnicas com autonomia.

• Apoiar o Tech Lead na liderança técnica e estratégica das iniciativas.

• Projetar, desenvolver e otimizar pipelines de dados batch e streaming utilizando os serviços do Google Cloud Platform.

• Realizar revisões técnicas aprofundadas, disseminar boas práticas e apoiar o desenvolvimento de profissionais do time.

• Definir arquiteturas de dados escaláveis, resilientes e eficientes, considerando volume, performance e custo.

• Construir estratégias de melhoria de performance e otimização de custos em ambientes GCP.

• Diagnosticar gargalos técnicos e operacionais, propondo soluções sustentáveis.

• Trabalhar com múltiplas integrações, APIs, sistemas distribuídos e grandes volumes de dados.

• Garantir boas práticas de segurança, governança, qualidade e observabilidade dos dados.

• Comunicar soluções técnicas de forma clara para diferentes níveis de interlocução, incluindo áreas de negócio, tecnologia e gestão.

• Atuar de maneira consultiva junto aos clientes, identificando oportunidades de evolução e melhoria dos ambientes de dados.

Requisitos

• Experiência sólida em projetos de Engenharia de Dados de alta complexidade.

• Experiência avançada com Google Cloud Platform (GCP) e seus principais serviços de dados e analytics.

• Forte domínio de Python e SQL avançado.

• Experiência avançada com Apache Spark e processamento distribuído de dados.

• Experiência com BigQuery, incluindo modelagem, otimização de consultas e gestão de custos.

• Vivência na construção e orquestração de pipelines de dados utilizando Cloud Composer (Apache Airflow) e/ou Workflows.

• Experiência com processamento de dados batch e streaming.

• Conhecimento em arquitetura de Data Lakes, Data Warehouses e Lakehouse.

• Experiência com integração de dados via APIs RESTful e sistemas distribuídos.

• Conhecimento de práticas de CI/CD, versionamento de código e infraestrutura como código.

• Conhecimento de técnicas de modelagem de dados, como Data Vault, modelagem dimensional e 3NF.

• Experiência com governança, segurança, qualidade e observabilidade de dados.

• Capacidade de atuar em contextos de alta complexidade, com autonomia e visão arquitetural.

• Boa comunicação e habilidade para interagir com clientes e diferentes áreas da organização.

Hard Skills

• Google Cloud Platform (GCP): domínio dos serviços de dados e analytics da plataforma.

• BigQuery (avançado): otimização de consultas, particionamento, clustering, slots, materialized views, query execution plans e controle de custos.

• Cloud Storage (GCS): arquitetura de Data Lakes, organização, armazenamento e ciclo de vida dos dados.

• Dataflow: processamento distribuído, pipelines batch e streaming, Apache Beam e otimização de jobs.

• Dataproc: gerenciamento de clusters, processamento distribuído e execução de workloads com Apache Spark.

• Pub/Sub: arquitetura orientada a eventos, mensageria e processamento em tempo real.

• Cloud Composer: orquestração de pipelines de dados com Apache Airflow.

• Cloud Functions e Cloud Run: desenvolvimento e execução de serviços e componentes serverless.

• Dataplex: governança, descoberta, organização e gerenciamento de dados.

• Dataform: desenvolvimento, transformação e gerenciamento de pipelines SQL no BigQuery.

• Python: desenvolvimento avançado, boas práticas de engenharia de software, modularização e reutilização de componentes.

• Apache Spark: processamento distribuído, otimização de jobs, particionamento, caching, broadcast joins e gerenciamento de recursos.

• SQL avançado: tuning, otimização de consultas, modelagem e análise de planos de execução.

• Modelagem de dados: Data Vault, modelagem dimensional, 3NF e arquiteturas orientadas a eventos.

• Bancos de dados: experiência com bancos relacionais e NoSQL.

• CI/CD: Git, GitHub Actions, GitLab CI ou Cloud Build.

• Infraestrutura como código: Terraform e/ou ferramentas equivalentes.

• Qualidade e observabilidade: testes de dados, monitoramento, logging e ferramentas como Great Expectations, Prometheus e Grafana.

• Arquitetura de dados: Data Lake, Data Warehouse, Lakehouse, Data Mesh e Data Products.

• Segurança e governança: IAM, gerenciamento de permissões, criptografia, controle de acesso e políticas de governança no GCP.

• Otimização de custos: análise de consumo, dimensionamento de recursos e utilização de ferramentas de monitoramento e controle financeiro da GCP.

Soft Skills

• Liderança técnica e influência estratégica.

• Capacidade de aprender rapidamente e atuar em diferentes contextos tecnológicos.

• Clareza e profundidade na comunicação com áreas técnicas e de negócio.

• Postura consultiva, com escuta ativa e proatividade.

• Espírito de colaboração, mentoria e desenvolvimento de pessoas.

• Autonomia na tomada de decisões e resolução de problemas complexos.

• Organização, foco em entregas e alto senso de responsabilidade.

• Inglês intermediário

Certificações Desejáveis

• Google Cloud Professional Data Engineer.

• Google Cloud Associate Cloud Engineer.

Diferenciais

• Google Cloud Professional Cloud Architect.

• Google Cloud Professional Cloud Database Engineer.

• Experiência com arquiteturas modernas de dados em GCP.

• Experiência com Databricks integrado ao Google Cloud.

• Vivência com implementação de estratégias Data Mesh e Data Products.

• Experiência em projetos de migração de ambientes on-premises ou outras clouds para GCP.

• Experiência com otimização avançada de custos e performance em ambientes BigQuery e Dataflow.

O que oferecemos:

• 🏥 Auxílio médico: ajuda de custo mensal para apoiar na contratação do seu plano de saúde.
• 💪 Wellhub, pra manter corpo e mente ativos, do jeito que você gosta.
• 🧠 Terapia online 100% custeada pela empresa, porque saúde mental importa.
• 🥗 Atendimento em nutrição online, com até 2 consultas mensais para cuidar da sua saúde alimentar.
• 🛡️ Seguro de vida com apólice no valor de R$ 125 mil, garantindo mais segurança para você e sua família.
• 🎉 Day off no aniversário, porque o seu dia merece ser especial.
• 🌴 Descanso remunerado, para que você possa recarregar as energias.
• 🏆 Gamificação interna, transformando conquistas em prêmios e reconhecimento.
• 🎓 Parcerias educacionais com faculdades como FIAP, Anhanguera e Instituto Infnet, pra apoiar seu crescimento e aprendizado.
• 📚 Bônus por certificação técnica, reconhecendo e recompensando seu esforço em aprender.

Valorizamos cada voz e cada pessoa, porque sabemos que a diversidade nos torna mais inovadores e fortes.