Engenheiro de Dados

O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.É um perfil orientado a arquitetura, escalabilidade e performance.Responsabilidades e atribuiçõesResponsabilidadesConstruir pipelines de ingestão batch e streamingEstruturar data lakes e data warehousesCriar datasets otimizados para MLImplementar pipelines de embeddingsConstruir indexação vetorial para RAGGarantir qualidade, governança e segurança de dadosOtimizar custo de armazenamento e processamentoTrabalhar com AI Engineers para estruturar feature storesRequisitos e qualificaçõesStack Tecnológica RecomendadaLinguagensPythonSQL avançadoScala (opcional)Orquestração & TransformaçãoApache AirflowdbtPrefectProcessamento de DadosSparkPandasPySparkArmazenamentoData Lakes (S3, GCS, Azure Blob)Data Warehouses (BigQuery, Snowflake, Redshift)Bancos NoSQLBancos vetoriais (Pinecone, Weaviate, FAISS)StreamingKafkaPub/SubInfraestruturaDockerKubernetesCloud (AWS, GCP ou Azure)Informações adicionaisHard SkillsModelagem de dadosETL / ELTProcessamento distribuídoSQL avançadoArquitetura de dados escalávelExperiência com dados não estruturados (texto, logs, PDF)Conceitos de DataOpsVersionamento e qualidade de dadosSoft SkillsPensamento sistêmicoForte organizaçãoAtenção a detalhesMentalidade de escalabilidadeColaboração com times de MLProatividade na prevenção de gargalos