WR Audit
WR Audit
Auditoria técnica de viés em sistemas de inteligência artificial

O viés não vem só dos dados. Nós mostramos de onde ele vem.

Para organizações do setor financeiro, indústria e administração pública. Apoiamos conselhos e lideranças técnicas a decompor a disparidade de sistemas algorítmicos em suas origens (dados, treino, solução e uso), entregando um laudo independente construído para resistir a escrutínio técnico, regulatório e social.

Δ(f^)=\Delta(\hat f) =+++

Ordem 1 — Gradiente

Durante o treino, cada atualização empurra os parâmetros numa direção. Essa direção pode favorecer um grupo mesmo com dados equilibrados.

Forma
θt+1=θt−η∇θL(θt)\theta_{t+1} = \theta_t - \eta\nabla_\theta L(\theta_t)
Pergunta
O treino ampliou a diferença presente nos dados?
No laudo
Integra o laudo
Figura 1. Decomposição por ordens. Selecione um termo. Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Escopo
Caixa-preta ou caixa-branca, definido por projeto
Entregáveis
Laudo técnico e Resumo Público de Resultados
Independência
Resultado não condicionado ao interesse do contratante
Fundamento
Pesquisa doutoral em Economia sobre a origem do viés
§ 01 — O problema

Os casos que definiram o tema raramente foram só um problema de dados.

Em boa parte deles, a disparidade surgiu da escolha do alvo, do desenho do modelo ou da forma de uso. Uma auditoria que só olha a base atribui o problema ao passado e propõe a correção errada.

AnoCasoO que foi reportadoOnde a disparidade nasce*
2016COMPAS — justiça criminal, EUA1Escore de reincidência com taxas de falso positivo maiores para réus negros.Dados herdados e escolha da métrica
2018Triagem de currículos — Amazon2Sistema penalizava currículos com termos associados a mulheres; projeto encerrado.Dados herdados, amplificados no treino
2019Gestão de cuidados em saúde, EUA3Usar custo como proxy de necessidade subestimava a necessidade de pacientes negros.Escolha do alvo do modelo
2019Limites do Apple Card — NYDFS4Investigação sobre limites distintos por gênero; o relatório de 2021 não apontou violação, mas criticou a transparência.Explicabilidade no uso
2020Notas do A-level — Ofqual, Reino Unido5Notas atribuídas por algoritmo foram retiradas após rebaixar alunos de escolas historicamente menos favorecidas.Desenho do modelo
2021Benefícios de creche — Países Baixos6Modelo de risco que considerava nacionalidade contribuiu para o escândalo que levou à renúncia do governo.Variáveis do modelo e uso

* Leitura ilustrativa da WR a partir de fontes públicas. Não constitui análise técnica dos sistemas citados. Fontes ao final da página.

§ 02 — Ambiente regulatório

A pergunta deixou de ser se o modelo será examinado. Passou a ser por quem.

  1. 2018LGPD, art. 20Direito do titular à revisão de decisões tomadas unicamente com base em tratamento automatizado.
  2. 2023NIST AI RMF 1.0 · ISO/IEC 42001Referências internacionais de gestão de risco e de sistemas de gestão de IA. Usadas como referência; o laudo não certifica aderência.
  3. 2024Regulamento (UE) 2024/1689AI Act europeu em vigor, com obrigações graduais para sistemas de alto risco — relevante para quem opera ou exporta para a UE.
  4. dez. 2024PL 2338/2023Marco brasileiro de IA aprovado no Senado, com abordagem baseada em risco. Ainda em tramitação na Câmara dos Deputados, inspirado no modelo do AI Act europeu.

Para o conselho de Administração, isso se traduz em três exposições concretas: a do titular que pede revisão, a do investidor que pede evidência e a do cliente que exige garantia em contrato. O laudo responde às três com o mesmo documento, trazendo governança e reduzindo a assimetria de informação entre as partes interessadas.

§ 03 — Método

Se a disparidade nasce no treino, a correção é outra. E a responsabilidade também.

Ordem 0

Dados herdados

Disparidade presente no histórico e reproduzida pelo modelo.

Δ0=Δ(D)\Delta_0 = \Delta(D)
Ordem 1

Gradiente

Durante o treino, cada atualização empurra os parâmetros numa direção. Essa direção pode favorecer um grupo mesmo com dados equilibrados.

θt+1=θt−η∇θL(θt)\theta_{t+1} = \theta_t - \eta\nabla_\theta L(\theta_t)
Ordem 2

Curvatura

Disparidade associada à curvatura da perda em torno da solução.

H=∇θ2L(θ^)H = \nabla^2_\theta L(\hat\theta)
Ordem 3 · hipótese

Ordem superior

Em investigação acadêmica. Declaradamente fora do laudo.

∇θ3L(θ^)\nabla^3_\theta L(\hat\theta)
Gráfico com as curvas de perda de dois grupos, A e B, cada uma com seu ponto ideal; o modelo final fica perto do ponto de A e longe do ponto de B.
Figura 2. Ordem 1 — Cada grupo tem o seu ponto ideal. Como o gradiente soma a contribuição de todos os exemplos, o grupo com mais dados puxa mais forte: o modelo final fica perto de A e longe de B.Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Gráfico com as curvas de perda dos grupos A e B no mesmo ponto θ̂: a curva de A é aberta e a de B é estreita e íngreme.
Figura 4. Ordem 2 — a forma do vale. No mesmo ponto θ̂, a curvatura da perda pode diferir entre grupos. Uma pequena perturbação nos novos dados: um retreino que quase não altera a perda do grupo A, mas aumenta muito a do grupo B.Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Matriz hessiana com as derivadas segundas da perda e as direções mais íngreme e mais plana.
Figura 5. Matriz Hessiana. Reúne as segundas derivadas da perda (hᵢⱼ = ∂²L/∂θᵢ∂θⱼ) e descreve a curvatura em torno da solução. Seus autovetores apontam as direções mais íngremes (λ grande) e mais planas (λ pequeno).Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Matriz jacobiana com a coluna do atributo sensível destacada.
Figura 6. Matriz Jacobiana. Mostra quanto cada saída do modelo muda quando cada entrada muda (jᵢⱼ = ∂ŷᵢ/∂xⱼ). A coluna do atributo sensível, ou de um proxy dele, mede a dependência direta da decisão em relação a ele.Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Pontos de dois grupos em um espaço de representação, com os vetores médios e a direção de disparidade.
Figura 7. Espaço de representação. O modelo descreve cada pessoa como um vetor. Quando os grupos ocupam regiões distintas, a diferença entre os vetores médios, v(B) − v(A), indica uma direção de disparidade que a fronteira de decisão pode reproduzir.Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Rede neural em camadas com matrizes de pesos e o caminho inverso do gradiente.
Figura 8. Estrutura vetorial de uma rede neural. A informação avança camada a camada como vetores transformados por matrizes de pesos (W₁, W₂, W₃). No treino, o gradiente percorre o caminho inverso e ajusta cada matriz.Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Superfície em forma de sela: a perda sobe numa direção e desce na outra.
Figura 9. Ponto de sela. O gradiente é zero e a superfície é plana naquele ponto, mas não há mínimo: a perda sobe numa direção e desce em outra (Hessiana indefinida). O treino pode desacelerar perto desses pontos.Apresentação Gráfica Conceitual, a análise efetiva é feita por projeto e por corpo de dados.
Critérios de classificação

Basta um critério para que o viés seja classificado como inerente ao modelo.

  1. i.Amplificação. O modelo aumenta a disparidade já presente nos dados.
  2. ii.Dependência do algoritmo. Com os dados fixos, a disparidade muda apenas com o algoritmo.
  3. iii.Emergência no uso. A disparidade surge na operação do sistema.
§ 04 — Modalidades

Duas profundidades de acesso. O escopo é desenhado com o seu time.

Caixa-pretaCaixa-branca
AcessoSaídas do sistema, por consultas controladasParâmetros, arquitetura e processo de treino
Indicada quandoO sistema é de terceiro ou o acesso ao modelo é restritoO modelo é próprio ou o fornecedor concede acesso
TestesAnálise das saídas e sondagem por consultas

Avaliação com acesso técnico ao modelo, em seis análises:

  1. T1Mapa de estabilidade: se o modelo está em um ponto de treino estável ou frágil.
  2. T2Fragilidade por grupo: quais grupos ficam mais sensíveis a pequenas mudanças.
  3. T3Limite de confiança: até onde a leitura do modelo é confiável.
  4. T4Dados que mais pesam: quais dados de treino mais influenciam as decisões.
  5. T5Teste de compactação: se reduzir o modelo afeta grupos de forma desigual.
  6. T6Consistência entre execuções: se o mesmo treino produz resultados diferentes entre grupos.
EntregaLaudo e Resumo Público de ResultadosLaudo e Resumo Público de Resultados
§ 05 — O engajamento

Cinco etapas. Cada uma com um responsável e um entregável.

  1. 01

    Escopo

    Sistema, uso e perguntas da auditoria.

  2. 02

    Mapeamento

    Partes envolvidas, dados e pontos de decisão.

  3. 03

    Artefatos

    Model cards, datasheets e documentação existente.

  4. 04

    Testes

    Testes da modalidade contratada.

  5. 05

    Reflexão

    Resultados, limites e redação do laudo.

SMACTR, model cards e datasheets servem de referência. Não se declara aderência formal a esses protocolos.

§ 06 — O laudo

Um documento para o conselho. Outro para o público.

Laudo técnico · confidencial
WR

Auditoria de viés — [Sistema]

[Contratante] · [mês/ano] · Modalidade [ ]

Sumário
  • 1 · Sumário executivo3
  • 2 · Escopo e perguntas5
  • 3 · Método aplicado8
  • 4 · Resultados por ordem12
  • 5 · Classificação (i–iii)20
  • 6 · Limites23

Paginação ilustrativa

Resumo Público de Resultados

O que foi testado e o que foi encontrado.

Escopo · método · resultados · limites. Divulgação a critério do contratante.

Não é selo. Não certifica conformidade.

O que o contratante recebe para análise

O laudo entrega ao cliente o material completo para examinar o próprio sistema: as perguntas do escopo, o método aplicado em cada ordem, os resultados com as evidências que os sustentam, a classificação do viés encontrado e os limites do que foi possível concluir. Disponibiliza também um Resumo Público, que poderá, à escolha do cliente, fazer a exposição da metodologia e forma de trabalho alinhado com sua ferramenta e legislação competente ao mercado em que se insere.

  • Escopo e perguntas respondidas.
  • Método aplicado, passo a passo.
  • Resultados por ordem, com evidências.
  • Classificação do viés (i–iii) e limites declarados.
§ 07 — Independência e sigilo

O seu modelo é um ativo. Tratamos como tal.

Independência

O resultado não é condicionado ao interesse do contratante.

Confidencialidade

Acordo de confidencialidade antes de qualquer acesso. [Termos a definir]

Acesso mínimo

Somente o necessário às perguntas do escopo, com anonimização quando possível.

Ambiente e retenção

[Onde a análise roda e por quanto tempo os artefatos são mantidos]

§ 08 — Quem conduz

Quem conduz a auditoria.

Retrato de Roberto Tormim

Roberto Tormin Ramos da Costa

Administrador, contador, MBA em Finanças e Investment Banking e mestre em Economia pelo IDP, onde cursa o doutorado atualmente. Há mais de 18 anos atua em estruturação de capital, governança corporativa e decisões estratégicas para negócios complexos, como executivo, conselheiro e palestrante. Lidera uma boutique de DCM e criou a metodologia H.U.N.T.E.R. Sua dissertação sobre choques de crédito por shadow banks foi premiada pelo IDP e aprovada no 54º Congresso da ANPEC.

Pesquisa
  • ONTOLOGIA FEDERATIVA E VIÉS ALGORÍTMICO: A AUSÊNCIA DE ACORDO SEMÂNTICO ENTRE ENTES COMO FONTE DE RESÍDUO DOS DADOS NO SISTEMA INTEGRADO DE INFORMAÇÕES SOBRE DESASTRESem elaboração
  • CHOQUES DE CRÉDITO POR SHADOW BANKS E FINANCIAMENTO NÃO BANCÁRIO NO BRASILAprovado 54º Congresso ANPEC
Retrato de Walter Marinho

Walter Marinho

Walter Marinho é executivo com trajetória na Europa, África e América Latina em comércio tecnológico e desenvolvimento internacional. Diretor de Políticas Públicas, Inovação, Governança e Economia da Brasil Startups, é mestre em Economia pelo IDP, onde cursa o doutorado e pesquisa a governança econômica da regulação da IA. Professor convidado, pesquisador, autor e palestrante, publicou obras sobre regulação da IA e territórios inteligentes dos povos originários.

Pesquisa
  • GOVERNANÇA ECONÔMICA DA INTELIGÊNCIA ARTIFICIAL NO BRASIL: INCENTIVOS REGULATÓRIOS DO PROJETO DE LEI NÚMERO 2.338/2023 PARA INOVAÇÃO E ADOÇÃO TECNOLÓGICApublicado
  • LIVRO - "GOVERNANÇA E ÉTICA DE REGULAÇÃO DE INTELIGÊNCIA ARTIFICIAL"Coautor
  • LIVRO - "REGULAÇÃO DA INTELIGÊNCIA ARTIFICIAL: DESAFIOS JURÍDICOS, ÉTICOS E TECNOLÓGICOS"Coautor
§ 09 — Perguntas da diretoria

O que costumam nos perguntar.

O laudo garante conformidade com a LGPD?+

Não. O laudo descreve tecnicamente o que foi testado e encontrado. A avaliação jurídica cabe aos seus assessores, que passam a ter evidência técnica para fundamentá-la.

Precisamos entregar o modelo?+

Só na modalidade caixa-branca. Na caixa-preta, trabalhamos apenas com as saídas do sistema por meio de consultas controladas.

E se o resultado for desfavorável?+

O laudo é independente e não muda conforme o resultado. A divulgação do Resumo Público é decisão exclusiva do contratante.

Em que o laudo difere de uma análise de dados?+

Uma análise de dados mede a disparidade. O laudo mostra onde ela nasce, que pode ser nos dados, treino, solução ou forma do uso. Assim classifica se o viés é inerente ao modelo ou pela sua forma de uso, podendo ser proveniente dos dados, algoritmo e usuário.

Contato

Uma conversa reservada, antes de qualquer acesso.

roberto@tormim.com.br

Brasília | Recife · Atendimento a conselhos, diretorias jurídicas, de risco e de tecnologia.

Este site não usa formulários, cookies de rastreamento nem scripts de terceiros.

Fontes
  1. Angwin et al., “Machine Bias”, ProPublica, maio de 2016.
  2. Dastin, “Amazon scraps secret AI recruiting tool that showed bias against women”, Reuters, out. 2018.
  3. Obermeyer et al., “Dissecting racial bias in an algorithm used to manage the health of populations”, Science 366, 2019.
  4. New York State Department of Financial Services, relatório sobre o Apple Card, mar. 2021.
  5. Ofqual, retirada das notas calculadas por algoritmo, ago. 2020.
  6. Escândalo dos benefícios de creche (toeslagenaffaire); renúncia do governo neerlandês, jan. 2021.