A versão 1.0 desta certificação foi descontinuada, mas o BSTQB disponibilizará esta prova no Exame Nacional até 21/10/2027 (acesse aqui)

Teste de Software

A CT-AI, AI Testing, é o diferencial estratégico para quem deseja liderar a garantia de qualidade na era da Inteligência Artificial. Diferente de sistemas tradicionais, a AI exige uma mudança de paradigma: do determinismo para o pensamento probabilístico e estatístico. Ao obter esta certificação, você dominará técnicas avançadas como Testes Metamórficos e Red Teaming, essenciais para validar modelos de Machine Learning e a confiabilidade de AIs Generativas.

Para sua carreira, o impacto é imediato: você se posiciona na elite dos profissionais capazes de mitigar riscos críticos, como vieses algorítmicos e alucinações. 

Benefícios Diretos: incluem a validação internacional de sua expertise técnica, maior competitividade em projetos de inovação e a capacidade prática de aplicar métricas da ISO/IEC 25059. É a transição de um testador para um Especialista em Qualidade de AI, pronto para garantir sistemas robustos, éticos e seguros em um mercado que não aceita mais o amadorismo..

Valores da Certificação

É esperado que as pessoas certificadas estejam aptas a: 

  • Domínio de Testes em Sistemas Probabilísticos: Capacidade de transitar do teste determinístico tradicional para a validação de comportamentos baseados em probabilidades e estatística.
  • Expertise em Machine Learning Workflow: Compreensão profunda de todas as etapas do ciclo de vida de ML, desde a preparação de dados até o monitoramento de desvio em produção.
  • Proficiência em Engenharia de Prompt e GenAI: Habilidade prática para testar e aplicar Red Teaming em modelos de linguagem (LLMs), garantindo que sejam seguros e confiáveis.
  • Conformidade com Padrões Internacionais: Alinhamento direto com a norma ISO/IEC 25059, focando em características de qualidade como robustez, transparência e controle do usuário.
  • Aplicação de Técnicas Especializadas: Domínio de métodos como Testes Metamórficos e Teste Back-to-Back, fundamentais para resolver o problema do Oráculo de Teste na AI.
  • Mitigação de Riscos Éticos e Vieses: Preparo para identificar e reduzir preconceitos (bias) nos algoritmos, promovendo uma IA mais ética e socialmente responsável.
  • Validação de Infraestrutura e Dados: Conhecimento para testar não apenas o modelo, mas a qualidade dos dados e a escalabilidade dos ambientes que sustentam a AI.

Material de Estudo

CT-AI Syllabus v2.0 (BREVE)

Glossário de Termos de Teste

Ficha do Exame

Pré-requisitos: certificação CTFL

Idioma: Português-BR

Tempo de Exame1: 60 min

Tipo de questões: múltipla escolha

Número de questões: 40

Pontuação das Questões: 1 a 2 pontos

Pontuação do Exame: 44 pontos

Pontuação mínima para aprovação: 29 pontos

Distribuição das questões e pontuações:

(1) Para estrangeiros que farão a prova na língua portuguesa, haverá um acréscimo de 25% do tempo, desde que informada a situação durante a inscrição. Ao final da prova, todos os candidatos terão 10 minutos para transferir suas respostas para o gabarito.

Exemplo de Exame

CT-AI Set A v2.0 (BREVE)

Objetivos de Aprendizagem (LO)

  • Introdução à Inteligência Artificial
    • Introdução à AI: AI-1.1.1 K2 Distinguir entre sistemas baseados em AI e sistemas convencionais; AI-1.1.2 K2 Distinguir entre AI restrita, AI geral e super AI; AI-1.1.3 K2 Explicar os diferentes tipos de tecnologias de AI; AI-1.1.4 K2 Explicar o que é AI generativa; AI-1.1.5 K2 Comparar as opções de hardware disponíveis para implementar sistemas de machine learning; AI-1.1.6 K2 Comparar as opções para o desenvolvimento e hospedagem de modelos de AI; AI-1.1.7 K2 Resumir as funcionalidades oferecidas pelas estruturas de desenvolvimento de ML; AI-1.1.8 K2 Explicar como regulamentações e normas afetam o desenvolvimento e o teste de sistemas baseados em AI.
  • Características de Qualidade para Sistemas Baseados em AI 
    • Características de Qualidade para Sistemas Baseados em AI: AI-2.1.1 K2 Classificar comportamentos de sistemas baseados em AI de acordo com as características de qualidade definidas na norma ISO/IEC 25059; AI-2.1.2 K2 Explicar as considerações especiais que surgem quando a AI é utilizada em sistemas relacionados à segurança.
    • Critérios de Aceite para Sistemas Baseados em AI: AI-2.2.1 K2 Apresentar exemplos de critérios de aceite para sistemas baseados em AI.
  • Machine Learning 
    • Introdução ao Machine Learning: AI-3.1.1 K2 Distinguir entre as diferentes formas de ML; AI-3.1.2 K2 Resumir o fluxo de trabalho utilizado para criar um sistema de ML; AI-3.1.4 K2 Resumir o uso de modelos pré-treinados, ajuste fino e geração aumentada por recuperação.
    • Dados para Machine Learning: AI-3.2.1 K2 Explicar as atividades relacionadas à preparação de dados; AI-3.2.3 K2 Comparar o uso de conjuntos de dados de treinamento, validação e teste no desenvolvimento de um modelo ML
    • Métricas de Performance Funcional do ML para Classificação: AI-3.3.1 K3 Calcular métricas de performance funcional ML a partir de um determinado conjunto de dados da matriz de confusão dos modelos
    • Redes neurais: AI-3.4.1 K2 Explicar a estrutura e o funcionamento de uma rede neural profunda; AI-3.4.3 K2 Descrever as diferentes medições de cobertura para redes neurais
  • Teste de Sistemas Baseados em AI
    • Introdução aos Testes de Sistemas Baseados em AI: AI-4.1.1 K2 Comparar a testabilidade de sistemas baseados em AI fixos e adaptativos; AI-4.1.2 K2 Explicar por que uma abordagem estatística é frequentemente necessária ao testar sistemas baseados em AI; AI-4.1.3 K2 Explicar os desafios e as soluções relacionados a oráculos de teste para sistemas baseados em AI.
    • Testando AI Generativa e LLM: AI-4.2.1 K2 Explique como a AI generativa pode ser testada; AI-4.2.2 K3 Implementar red teaming para sistemas de AI generativa
    • Níveis de Teste e Sistemas de Machine Learning: AI-4.3.1 K2 Resumir os níveis de teste utilizados para desenvolver sistemas de machine learning; AI-4.3.2 K2 Explicar como os testes baseados em riscos são aplicados a sistemas de machine learning
  • Teste de Dados de Entrada para Sistemas de Machine Learning
    • Teste de Dados de Entrada para Sistemas de Machine Learning: AI-5.1.1 K2 Apresentar exemplos de abordagens de teste utilizadas para a mitigação de risco dos dados de entrada de um sistema de machine learning; AI-5.1.2 K2 Explicar como testar a presença de viés; AI-5.1.3 K2 Resumir as várias formas de teste de pipeline de dados; AI-5.1.4 K2 Explicar como realizar o teste de representatividade dos dados; AI-5.1.5 K3 Aplicar testes de restrições de conjuntos de dados; AI-5.1.6 K2 Explicar o label correctness testing
  • Teste de Modelos para Sistemas de Machine Learning
    • Testes de Modelos para Sistemas de Machine Learning: AI-6.1.1 K2 Dar exemplos de abordagens de teste utilizadas para a mitigação de risco de modelos ML; AI-6.1.2 K2 Explicar o objetivo e o foco da revisão da documentação de modelos ML; AI-6.1.3 K2 Explicar como são realizados os testes de performance funcional do ML para sistemas de aprendizado de máquina probabilístico; AI-6.1.4 K2 Resumir os testes contraditórios de sistemas de machine learning; AI-6.1.5 K3 Utilizar testes metamórficos para derivar casos de teste para um determinado cenário; AI-6.1.7 K2 Explicar como o teste de desvio é utilizado em sistemas operacionais de machine learning; AI-6.1.8 K2 Explicar como o overfitting e o underfitting são detectados por meio de testes; AI-6.1.9 K2 Explicar como o teste A/B é utilizado no contexto de sistemas de machine learning; AI-6.1.10 K2 Explicar como o teste back-to-back é utilizado no contexto de sistemas de machine learning
  • Teste de Desenvolvimento de Machine Learning 
    • Teste de Desenvolvimento de Machine Learning: AI-7.1.1 K2 Dar exemplos de abordagens de teste utilizadas para a mitigação de risco no desenvolvimento de ML; AI-7.1.2 K2 Explicar as várias formas de testes de implantação de sistemas de ML

Estrutura do Exame

  • Teste de Software: as questões de prova são elaboradas por especialistas do BWG-E, grupo de trabalho do BSTQB exclusivo para esta finalidade. Seus membros são certificados pelo ISTQB, com mais de 10 anos de experiência na área de Qualidade de Software. Esses profissionais seguem rigorosamente os critérios estabelecidos pelo ISTQB no ISTQB Exam Structure Tables e ISTQB Exam Structure and Rules - Assista neste vídeo, de 5 minutos, como é criada uma questão de exame no BSTQB.
  • Engenharia de Requisitos e Digital Design: as questões de prova dos exames são desenvolvidas por especialista do IREB, e traduzidas por uma equipe dedicada da Comunidade IREB Brasil.
  • Arquitetura de Software: as questões de prova são desenvolvidas pelo ISAQB, e traduzidas por uma equipe dedicada da própria organização.

Ir para Mapa de Certificações Quero fazer um exame