CT-AI AI Testing

A CT-AI, Certified Tester - AI Testing, amplia a compreensão da inteligência artificial e/ou aprendizado de máquina (Machine Learning), mais especificamente testando sistemas baseados em IA e usando IA em testes. É adequada para qualquer pessoa que esteja envolvida em testes, assim como para qualquer pessoa interessada em sistemas baseados em Inteligência Artificial (AI). Isto inclui pessoas que realizam atividades como análise de teste, consultoria e desenvolvimento de software.

Valores da Certificação

É esperado que as pessoas certificadas estejam aptas a: 

• Entender o estado atual e as tendências esperadas da AI; 
• Implementar testes em um modelo ML e reconhecer onde os testadores podem influenciar melhor sua qualidade; 
• Compreender os desafios associados aos testes de sistemas baseados em AI, tais como suas capacidades de auto-aprendizagem, parcialidade, ética, complexidade, não-determinismo, transparência e explicabilidade; 
• Contribuir para a estratégia de teste de um sistema baseado em AI; 
• Modelar e executar casos de teste para sistemas baseados em AI; 
• Reconhecer os requisitos especiais para a infraestrutura de teste para apoiar o teste de sistemas baseados em AI; 
• E entender como a AI pode ser usada para suportar testes de software.

Conteúdo programático

Cada capítulo necessita de um tempo mínimo de dedicação ao estudo ou treinamento. Este tempo está expresso em minutos e apresentado entre parênteses após cada capítulo abaixo.

• Introdução à AI (105 min): definição de AI e efeito AI; AI-estreita, AI-geral e AI-super; sistemas convencionais e sistemas baseados em AI; tecnologia de AI; estruturas de desenvolvimento AI; hardware para sistemas baseados em AI;
• Características de qualidade para sistemas baseados em AI (105 min): flexibilidade e adaptabilidade; autonomia; evolução; viés; ética; efeitos colaterais e hacking de recompensa; transparência, interpretabilidade e explicabilidade;
• Machine Learning (ML), Visão geral (145 min): formas de ML; fluxo de trabalho do ML; seleção de uma abordagem de ML; fatores envolvidos na seleção do algoritmo ML; overfitting e underfitting;
• Machine Learning (ML), Dados (230 min): preparação de dados como parte do fluxo de trabalho ML; conjunto de dados de treinamento, validação e teste no fluxo de trabalho ML; questões de qualidade do conjunto de dados; qualidade dos dados e seu efeito sobre o modelo ML; rotulagem de dados para aprendizagem supervisionada;
• Machine Learning (ML), Métricas de desempenho funcional (120 min): matriz de confusão; métricas adicionais de performance funcional para classificação, regressão e agrupamento; limitações das métricas de performance funcional ML; seleção da métrica de performance funcional ML; conjuntos de referência para ML;
• Redes neurais e testes (65 min): introdução; medidas de cobertura para redes neurais;
• Visão geral dos sistemas baseados em AI (115 min): especificação de sistemas baseados em AI; níveis de teste para sistemas baseados em AI; dados de teste para testar sistemas baseados em AI; teste de viés de automação em sistemas baseados em AI; documentando um componente de AI; teste de desvio de conceito; selecionando uma abordagem de teste para um sistema ML;
• Teste das características específicas de qualidade da AI (150 min): desafios para testar sistema de autoaprendizagem; teste de sistemas autônomos em AI; testes de algoritmos, viés de amostragem e viés inadequado; desafios para testar sistemas baseados em AI probabilísticos e não determinísticos; desafios nos testes de sistemas complexos baseados em AI; teste da transparência, interpretabilidade e explicabilidade; oráculos de teste para sistemas baseados em AI; objetivos do teste e critérios de aceite;
• Métodos e técnicas para o teste de sistemas baseados em AI (245 min): ataques contraditórios e envenenamento de dados; teste em pares; testes consecutivos (back-to-back); teste A/B; teste metamórfico (MT); teste baseado na experiência de sistemas baseados em AI; seleção de técnicas de testes para sistemas baseados em AI;
• Ambientes de teste para sistemas baseados em AI (30 min): ambientes de teste para sistemas baseados em AI; ambientes de teste virtuais para sistemas baseados em AI;
• Usando AI para testes (195 min): tecnologias de AI para testes; usando AI para analisar os defeitos relatados; usando AI para geração de casos de teste; usando AI para a otimização de conjuntos de teste de regressão; usando AI para previsão de defeito; usando AI para  teste de interfaces de usuário.