Garantir a qualidade, consistência e previsibilidade de soluções de IA antes e após o deploy; Criar e executar planos de teste funcionais, manuais e automatizados para modelos tradicionais e generativos; Definir e implementar frameworks de QA e automação de testes para IA; Executar testes de performance, segurança e robustez em guardrails de IA generativa; Conduzir auditorias de viés, ética, conformidade e aderência à LGPD; Avaliar métricas de performance (acurácia, precisão, recall, F1-score e consistência contextual); Monitorar e mitigar data drift e model drift em produção; Testar fluxos de prompts e agentes de IA quanto à coerência, factualidade e aderência ao contexto; Documentar resultados, riscos, planos de mitigação e relatórios executivos de qualidade; Propor melhorias contínuas e padronizar boas práticas de QA para IA corporativa; Atuar de forma colaborativa com times de Data Science, Engenharia de ML e Segurança da Informação; Hard Skills; CI/CD e DevOps (GitHub Actions, Jenkins, Azure DevOps, GitLab CI) MLOps (MLflow, Kubeflow, Vertex AI) QA para IA Generativa (LangChain Testing, PromptLayer, OpenAI Evaluation API, LlamaIndex Evals) Avaliação de modelos e feedback humano (Human Feedback Loop, RLHF) Validação e monitoramento de dados (Great Expectations, Evidently AI, Data Validation) Monitoramento de performance e drift de modelos Observabilidade e métricas de IA (acurácia, custo, latência) Dashboards e visualização de dados (Power BI, Grafana, Metabase) Governança de dados e IA LGPD e segurança da informação Anonimização, rastreabilidade e ética em IA corporativa Soft Skills; Pensamento analítico Atenção a detalhes Comunicação técnica e com stakeholders Visão crítica e orientação a qualidade Organização e gestão de múltiplos pipelines Trabalho colaborativo com times técnicos e de negócio Foco em melhoria contínua Ética e responsabilidade no uso de IA

Exigências

• Escolaridade Mínima: Ensino Superior

• Experiência desejada: Entre 5 e 10 anos

Habilidades

• Automação
• Cobol
• Perl
• Qualidade