Submódulo 4: Avaliação prática da qualidade dos resultados de IA

Por que avaliar resultados de IA? Checklist essencial

🎯 Por que avaliar resultados de IA?

Quando usamos assistentes como o ChatGPT, Gemini ou Claude, nem sempre a resposta pronta é a melhor para nosso objetivo — mesmo que soe convincente. Lembra que vimos os limites e as alucinações nos modelos? Aqui vamos traduzir essa teoria em ações práticas. Uma avaliação rápida reduz risco e economiza tempo no longo prazo (1).

Checklist rápido — primeiro filtro (use em 30–90s)

• Alinhamento com o objetivo: a saída responde ao que pedimos (tarefa, formato, público)?
• Relevância: cada parte do texto é necessária e útil para a tarefa?
• Factualidade: há afirmações verificáveis? O modelo cita fontes ou datas?
• Clareza e tom: linguagem adequada ao público (profissional, leigo, estudante)?
• Consistência: sem contradições internas; nomes, números e datas batem?
• Segurança e privacidade: não incluiu dados sensíveis nem recomenda ações perigosas?

Dica prática: ao receber uma saída, peça ao modelo um resumo executivo (1 parágrafo) e uma lista de 3 fontes — se ele não puder fornecer fontes concretas, trate a informação como não-verificada. Essa heurística melhora a identificação de alucinações rápidas (3).

Técnicas práticas de validação rápida + template COSERAF

🔎 Técnicas rápidas para validar uma saída

Vamos do simples ao robusto. Essas ações não exigem programação e você pode fazer em minutos ao usar qualquer assistente de texto.

Passo a passo (validação em 3–6 minutos)

1. Pedir fontes concretas: solicite URLs, autores ou títulos de onde a informação foi obtida — se a IA não consegue, marque como não verificado. (1)
2. Pedir explicação passo a passo: peça que explique como chegou à resposta (raciocínio, suposições). Isso revela se houve inferência indevida. (2)
3. Testar com um cenário real: troque nomes/datas ou peça um contraexemplo — respostas contraditórias indicam baixa confiança.
4. Comparar 2–3 saídas: gere variações do prompt (pequenas mudanças) e compare consistência e fontes.
5. Usar recuperação de documentos (RAG) quando disponível: ligar a busca por documentos confiáveis reduz alucinações ao ancorar respostas em textos reais. (3)

🧩 Estrutura COSERAF:
C: Contexto — Sou [cargo/papel] e preciso de [uso: e-mail/resumo/post/etc.] para [finalidade].
O: Objetivo — O que preciso que a saída faça (informar, convencer, ensinar).
S: Saída — Formato, extensão e público (ex.: 1 parágrafo, linguagem simples, público leigo).
E: Exemplos — Cite 1 exemplo curto do estilo desejado.
R: Restrições — Não usar dados sensíveis, evitar jargões, não inventar fatos.
A: Avaliação — Critérios: clareza, factualidade, fontes (URLs), tom adequado.
F: Feedback — "Se errar, explique e sugira 2 alternativas."

Por que incluir COSERAF? Ele torna explícitos os critérios com os quais você avaliará o resultado — isso reduz ambiguidades e facilita a revisão humana.

Quando envolver supervisão humana, documentar e governar as interações

🛡️ Supervisão humana e documentação

Nem tudo que um assistente gera pode ser usado automaticamente. Decisões críticas — jurídicas, médicas, financeiras, ou que envolvam dados sensíveis — devem receber revisão humana antes de aplicação. Essa regra prática é recomendada por guias de proteção de dados e governança (1)(2).

Quando envolver uma pessoa:

• Decisão com impacto legal, financeiro ou de segurança.
• Uso de dados pessoais sensíveis ou informações confidenciais.
• Recomendações únicas ou não-testadas que afetem terceiros.
• Quando o modelo mostra sinais de baixa confiança (contradições, ausência de fontes).

Como documentar (registro mínimo recomendável)

1. Descrição da solicitação (prompt) e contexto de uso.
2. Versão do modelo / ferramenta e data (importante para rastreabilidade).
3. Checklist de verificação aplicado (itens do primeiro slide).
4. Resultado final aprovado, quem revisou e observações sobre limitações e oportunidades de melhoria.

Atenção à privacidade: nunca cole dados pessoais sensíveis (ex.: CPF, prontuários) em prompts — em vez disso, use exemplos fictícios ou resuma dados pessoais antes de enviar. Essas orientações alinham-se a práticas de proteção de dados e recomendação de órgãos reguladores (2).

🎯 Exercícios