Equidade, vieses e como avaliar resultados de IA

⚖️ Equidade e vieses: o que observar e como agir

Lembra que vimos limites e alucinações? Agora focamos em quem pode ser prejudicado quando a IA erra: gênero, raça, idade, condição socioeconômica ou grupos minoritários podem ser desfavorecidos por respostas automatizadas. Identificar vieses começa por formular hipóteses simples e testar resultados em amostras diversas.

Algorithmic bias
A flow chart showing the decisions made by a recommendation engine, c. 2001[1]

Orientação prática: o NIST recomenda uma abordagem de gestão de risco para IA: mapear possíveis impactos, medir e documentar as decisões e criar controles proporcionais ao risco. Isso se aplica a tarefas sem código: basta testar e registrar exemplos. (1)

Medidas de conformidade: o ICO (autoridade de proteção de dados do Reino Unido) descreve boas práticas para fairness — por exemplo, documentar decisões, aplicar proteção de dados by design e avaliar se a IA gera inferências que sejam sensíveis. Essas práticas ajudam a demonstrar que você considerou o risco de discriminação. (2)

Princípios úteis: volte ao checklist da OECD sobre transparência e responsabilidade para priorizar ações: explique quando a IA foi usada e permita contestação humana. (3)

graph TD; A[Escolher objetivo] --> B[Aplicar COSERAF ao prompt]; B --> C[Gerar saída com IA]; C --> D[Avaliar com critérios]; D --> E[Refinar prompt ou envolver humano]

🛠️ Atividade guiada (sem código)

  1. Escolha um caso: ex.: resumo de avaliações para priorizar feedbacks.
  2. Escreva um prompt inicial usando COSERAF (contexto, objetivo, saída...).
  3. Gere 3 versões e compare: há diferenças que afetam grupos específicos?
  4. Registre 3 exemplos: entrada, saída e comentário do avaliador humano.

🧠 Prompt Sugerido

Contexto: Sou responsável de comunicação em uma pequena ONG e preciso resumir 50 avaliações de beneficiários para um relatório interno.  
Objetivo: Gerar um resumo executivo (300-400 palavras) que destaque pontos positivos e problemas recorrentes, com atenção a possíveis desigualdades no atendimento.  
Saída: Texto em português, 300-400 palavras, com 3 bullets de recomendações.  
Exemplos: [insira 2-3 comentários anônimos como referência].  
Restrições: Não inclua nomes ou dados identificáveis; mantenha tom neutro e empático.  
Avaliação: Clareza, factualidade, ausência de identificação e sensibilidade a grupos vulneráveis.  
Feedback: Vou iterar duas vezes com ajustes de escopo.

Critérios para avaliar resultados: clareza, factualidade, adequação ao público, tom apropriado, ausência de dados pessoais identificáveis e indicação de fontes/exemplos quando aplicável.