Bots de IA viraram uma conta de produção

A onda atual de IA não está mudando apenas quem escreve conteúdo ou código: ela está mudando quem acessa a web. Para empresas e desenvolvedores, crawlers, agentes e fetchers de IA já precisam entrar no mesmo radar de observabilidade, segurança, SEO e custo de infraestrutura.

Nos últimos dias, três sinais apontaram para o mesmo problema. O Agentic Web Index, da Known Agents, mostra bots representando 35% das visitas medidas em mais de 5.000 sites, com 29% desse tráfego classificado como relacionado a IA. Ao mesmo tempo, a discussão sobre a memória coletiva da internet em The Walrus deixa claro que a web virou insumo de modelo, não apenas destino de leitor.

O que mudou no tráfego da web?

Até pouco tempo atrás, a maior parte das conversas técnicas sobre bots girava em torno de Googlebot, Bingbot, ferramentas de SEO e scrapers oportunistas. Em 2026, a taxonomia ficou mais complexa: há bots de treinamento, crawlers de busca com IA, fetchers acionados por usuários, agentes com navegador real e robôs que se passam por bots conhecidos.

Um crawler de treinamento como GPTBot ou ClaudeBot acessa páginas para alimentar modelos futuros. Um bot de busca, como OAI-SearchBot ou Claude-SearchBot, pode influenciar se o conteúdo aparece em respostas geradas por IA. Já um fetcher acionado por usuário, como Claude-User, busca uma página em tempo real para responder uma pergunta específica.

A própria OpenAI documenta essa separação em sua página de crawlers: OAI-SearchBot é voltado a busca no ChatGPT, enquanto GPTBot sinaliza coleta para modelos generativos. A Anthropic também separa ClaudeBot, Claude-User e Claude-SearchBot, com consequências diferentes para treinamento, busca e acesso iniciado por usuários.

Por que robots.txt já não resolve sozinho?

O robots.txt continua útil, mas ele é uma política voluntária, não um controle de segurança. A Known Agents estima 98,5% de efetividade geral em regras de robots.txt e 97,4% entre scrapers e provedores de dados de IA. O número parece bom, mas esconde dois problemas práticos: os 2% restantes podem ser caros em escala, e qualquer atacante pode falsificar um User-Agent como ClaudeBot ou GPTBot.

Esse é o ponto operacional: identificar bot por cabeçalho HTTP é frágil. Um request pode dizer que veio de ClaudeBot sem relação com a Anthropic. Pode dizer que é Chrome, mas operar como agente automatizado. Em um site grande, isso vira ruído em logs, custo de CDN, pressão em banco de dados, distorção de métricas e risco de segurança.

Um robots.txt moderno deveria deixar claro o que a empresa permite e o que bloqueia. Exemplo básico:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

Essa configuração ilustra uma decisão comum: negar coleta para treinamento, mas permitir descoberta em busca e respostas iniciadas por usuários. Um veículo jornalístico pode bloquear quase tudo por estratégia comercial. Um SaaS de documentação pode permitir fetchers de coding agents para aparecer em fluxos de desenvolvimento.

Qual é o impacto para desenvolvedores e empresas?

O impacto prático aparece em quatro frentes. A primeira é custo. Se páginas dinâmicas, endpoints de busca interna ou rotas sem cache são varridos por bots, a conta aparece em CPU, banco, filas e observabilidade. Datadog, Cloudflare, Fastly, Vercel, AWS e logs de aplicação precisam tratar tráfego de IA como dimensão própria, não como categoria genérica de bot.

A segunda frente é SEO. Bloquear tudo pode reduzir uso indevido de conteúdo, mas também pode tirar a empresa de respostas em ChatGPT, Claude, Perplexity e recursos de AI search. A OpenAI afirma que sites bloqueando OAI-SearchBot não aparecem em respostas de busca do ChatGPT, embora possam aparecer como links navegacionais. Isso muda o velho dilema: indexar ou não indexar agora depende de qual robô está lendo e para qual finalidade.

A terceira é segurança. A Known Agents destaca tráfego com spoofing de bots de IA e varreduras de vulnerabilidade usando identidades conhecidas. Para um time de engenharia, isso significa que regra de WAF baseada apenas em User-Agent é insuficiente. É preciso combinar:

• validação por IP publicado quando o fornecedor oferece ranges confiáveis;
• rate limit por rota, método HTTP, ASN e comportamento;
• cache agressivo para conteúdo público e documentação;
• bloqueio de parâmetros explosivos em busca, filtros e paginação;
• alertas separados para bots verificados, bots desconhecidos e tráfego falsificado.

A quarta é governança de conteúdo. Se a empresa publica documentação, preços, pesquisas, changelogs ou base de conhecimento, precisa decidir quais conteúdos podem treinar modelos, quais podem aparecer em respostas e quais só devem ser acessados por usuários autenticados. Essa decisão entra no desenho de rotas, headers, cache, sitemap e autenticação.

O próximo passo é identidade verificável?

A resposta técnica mais promissora é assinatura criptográfica de requests. A Cloudflare atualizou em 1º de julho de 2026 sua documentação de Verified Bots para incluir agentes verificados por assinatura, IP publicado ou DNS reverso. A proposta de Web Bot Auth usa HTTP Message Signatures, baseadas no RFC 9421, para provar que uma requisição veio mesmo do operador declarado.

Isso não elimina política. Um bot assinado ainda pode ser bloqueado se fizer scraping indesejado. Mas muda o nível da conversa: em vez de confiar em texto livre no User-Agent, o site pode validar identidade e aplicar regras por finalidade. Busca pode ser permitida. Treinamento pode ser negado. Agentes transacionais podem exigir autenticação mais forte. Scrapers falsificados podem cair em rate limit ou bloqueio.

Para times web, a recomendação é concreta: audite logs dos últimos 30 dias, agrupe User-Agents de IA, compare com IPs oficiais quando existirem, meça hits por rota e custo aproximado, revise robots.txt e crie uma política explícita para treinamento, busca e fetchers de usuário. A web de 2026 não é só humana. Operar bem agora exige tratar agentes de IA como clientes técnicos com identidade, contrato e limites.

Perguntas frequentes

Como bloquear bots de IA no robots.txt?

Adicione regras por User-Agent, como GPTBot, ClaudeBot, OAI-SearchBot e Claude-SearchBot. O robots.txt ajuda bots legítimos a respeitar sua política, mas não bloqueia atacantes nem User-Agents falsificados.

Bloquear GPTBot prejudica SEO?

Bloquear GPTBot indica que o conteúdo não deve ser usado para treinamento de modelos da OpenAI. Para busca no ChatGPT, a regra relevante é OAI-SearchBot, que deve ser avaliada separadamente.

Qual a diferença entre ClaudeBot e Claude-User?

ClaudeBot é associado à coleta para modelos, enquanto Claude-User acessa páginas quando um usuário pede algo ao Claude. Bloquear Claude-User pode reduzir a visibilidade do site em respostas acionadas por usuários.

Como identificar bot de IA falso?

Não confie apenas no User-Agent. Combine validação por IP oficial, DNS reverso, comportamento de acesso, rate limit e, quando disponível, mecanismos de assinatura como Web Bot Auth.