# Anthropic publica guia para evitar 'crise de replicabilidade' em testes de IA

> Empresa alerta contra métricas superficiais de recusa e propõe padrões estatísticos rigorosos para aferir riscos reais em modelos.

Publicação: 2026-11-15T16:09:01.277Z
Página original: https://emcontexto.com.br/posts/anthropic-manual-metodologia-avaliacoes-seguranca-ia

A **Anthropic** divulgou um compêndio metodológico detalhando padrões para desenhar, executar e reportar avaliações de segurança em modelos de fronteira. Citando lições da crise de replicabilidade vivida pela psicologia científica, a empresa defendeu que uma alegação de segurança só é válida se a metodologia do teste for estatisticamente sólida, alertando que benchmarks frágeis induzem a conclusões perigosas na indústria.

O documento aponta que usar a taxa bruta de recusa (*refusal rate*) como indicador primário de segurança é um equívoco conceitual. Em temas de duplo uso — como cibersegurança e biologia — ou crises de apoio psicológico, uma recusa categórica ou excessiva é uma falha operacional. O modelo deve acolher a intenção legítima da requisição sem fornecer detalhes táticos danosos, priorizando a métrica de taxa de resposta apropriada (*appropriate response rate*).

Metodologia da Anthropic para simulações multiturno dinâmicas com agentes de avaliação.

A equipe também estabeleceu requisitos de amostragem mínima: pelo menos 100 diálogos completos para testes multiturno complexos e 1.000 instâncias para interações pontuais. Prompts isolados já atingem saturação de 94% a 98% nos modelos atuais, mascarando vulnerabilidades que só emergem após insistência ou reformulações graduais de usuários.

Para os avaliadores automatizados (*LLM judges*), a diretriz recomenda critérios binários objetivos, uso de famílias de modelos distintas da avaliada e validação constante contra anotações humanas especialistas.
