Administradores de sites e criadores de conteúdo enfrentam há anos um dilema: como permitir que buscadores e agentes inteligentes indexem e citem suas páginas sem que esse mesmo conteúdo seja sugado para treinar os pesos de modelos de IA?

Até agora, a única saída era manter listas infinitas de bots específicos no robots.txt (GPTBot, ClaudeBot, Google-Extended, etc.). Para solucionar isso de forma definitiva, Anthropic, OpenAI, Google e Microsoft apoiaram um novo padrão aberto junto à IETF (Internet Engineering Task Force).

Registro oficial na IETF: padrão único de preferência de treinamento para a web aberta.

Como Funciona: O Token __usage_ai-training

A proposta técnica (draft-kelley-aipref-training-preference-signal-00) não altera a sintaxe do protocolo de exclusão de robôs (RFC 9309). Em vez de inventar comandos novos que quebrariam servidores antigos, ela introduz um token de política reservado no campo de User-Agent:

# Bloquear treinamento de IA em todo o site, mas permitir indexação de busca normal
User-Agent: __usage_ai-training
Disallow: /
  • Compatibilidade total: Rastreadores de busca tradicionais (Googlebot, Bingbot) ignoram a diretiva como um bot irrelevante e continuam indexando o site normalmente.
  • Fim da lista interminável: Uma única regra cobre todos os laboratórios de IA que aderirem à norma internacional da IETF, sem necessidade de atualizar o arquivo a cada novo modelo lançado.
  • Cabeçalho HTTP Alternativo: Para APIs, PDFs e imagens binárias que não passam por arquivos de texto, a especificação padronizou o cabeçalho HTTP: 
    AI-Training-Preference: opt-out

Para se Aprofundar

O rascunho normativo já está em debate aberto no grupo de trabalho da IETF. O texto completo da especificação pode ser consultado no IETF Datatracker.