Modalidades
Escopo definido por projeto.
Caixa-preta
Acessa
Saídas do sistema, por meio de consultas controladas.
Entrega
Análise das saídas e sondagem por consultas; laudo e Resumo Público de Resultados.
Caixa-branca
Acessa
O modelo: parâmetros, arquitetura e processo de treino.
Entrega
Bateria de testes T1 a T6; laudo e Resumo Público de Resultados.
Sequência de método
Avaliação com acesso técnico ao modelo, em seis análises:
- T1 Mapa de estabilidade: se o modelo está em um ponto de treino estável ou frágil.
- T2 Fragilidade por grupo: quais grupos ficam mais sensíveis a pequenas mudanças.
- T3 Limite de confiança: até onde a leitura do modelo é confiável.
- T4 Dados que mais pesam: quais dados de treino mais influenciam as decisões.
- T5 Teste de compactação: se reduzir o modelo afeta grupos de forma desigual.
- T6 Consistência entre execuções: se o mesmo treino produz resultados diferentes entre grupos.
WR Audit