QA de IA SR - RHA1848

Venha fazer parte de uma empresa que ama transformar com tecnologia e abraça a diversidade em todas as suas formas!Responsabilidades e atribuiçõesO que esperamos dessa pessoa• Garantir qualidade das soluções de IA antes e após o deploy• Reduzir erros e inconsistências dos agentes• Aumentar confiabilidade das respostas• Apoiar evolução contínua dos modelosBuscamos um profissional que:• Questione e valide o comportamento dos agentes• Tenha olhar crítico sobre respostas de IA• Garanta qualidade real das soluções entregueMentalidade (ESSENCIAL)• Perfil crítico e detalhista• Capacidade de questionar resultados• Foco em qualidade e confiabilidade• Organização e clareza na comunicação• Mentalidade de melhoria contínuaRequisitos e qualificaçõesQA de IA (AI Quality & Evaluation Engineer)Sobre a vagaBuscamos um profissional focado em qualidade de soluções de Inteligência Artificial, responsável porvalidar, testar e garantir a consistência de agentes de IA em produção.Essa posição é voltada para alguém com perfil analítico e crítico, capaz de avaliar não apenas aspectostécnicos, mas também a qualidade semântica das respostas dos modelos.Importante: buscamos profissionais com experiência prática em testes de sistemas ou validação desoluções digitais. Perfis sem capacidade analítica ou foco em qualidade não serão considerados.Responsabilidades• Testar agentes de IA em diferentes cenários reais• Validar qualidade, consistência e coerência das respostas• Identificar falhas, alucinações e comportamentos inconsistentes• Criar cenários de teste e casos de uso reais• Definir critérios de qualidade para respostas dos modelos• Apoiar na evolução contínua das soluções com feedback estruturado• Trabalhar em conjunto com AI Engineers para ajustes e melhorias• Garantir confiabilidade das soluções em ambiente de produçãoStack Esperada / TecnologiasIA / LLMs• Conhecimento em funcionamento de LLMs• Noções de prompt engineering• Familiaridade com agentes de IATestes / Qualidade• Criação de casos de teste• Testes funcionais e exploratórios• Validação de fluxos e comportamentoFerramentas (diferencial)• Ferramentas de LLM evaluation• Ferramentas de acompanhamento (Jira, etc.)• Experiência com testes de sistemas ou validação de aplicações• Forte capacidade analítica e senso crítico• Capacidade de identificar inconsistências e falhas• Organização para estruturar cenários de teste• Atenção a detalhesInformações adicionaisDiferenciais • Experiência com avaliação de modelos de IA• Experiência com produtos digitais ou sistemas em produção• Conhecimento em dados ou análise• Experiência com automação de testes