O robots.txt é o arquivo onde o site diz quais robôs podem ler quais páginas. Com as IAs, ele ganhou uma função nova: decidir se o conteúdo vai para o treinamento dos modelos, para as respostas com busca ou para os dois. O erro mais comum é bloquear tudo de uma vez achando que só sai do treinamento, e sumir junto das respostas do ChatGPT e do Perplexity.
Cada empresa usa robôs separados para cada função. Bloquear um não é o mesmo que bloquear o outro.
O que é o robots.txt, rapidamente
É um arquivo de texto simples que fica em seusite.com.br/robots.txt. Ele lista robôs pelo nome (o "user-agent", a identificação que o robô usa ao visitar) e diz o que cada um pode ou não ler. Por exemplo:
User-agent: GPTBot
Disallow: /
Essas duas linhas pedem ao GPTBot que não leia nenhuma página do site. Repare na palavra "pedem": o robots.txt é um aviso, não uma tranca. Robôs de empresas sérias seguem, mas nada obriga tecnicamente.
Os robôs, um por um
A tabela resume o que a documentação oficial de cada empresa diz.
| Robô | Empresa | Para que serve | Se bloquear |
|---|---|---|---|
| GPTBot | OpenAI | Treinar os modelos de IA | O conteúdo não deve ser usado no treinamento de modelos futuros |
| OAI-SearchBot | OpenAI | Busca do ChatGPT | O site não aparece nas respostas com busca do ChatGPT |
| ChatGPT-User | OpenAI | Abrir páginas a pedido de um usuário | Não muda a presença na busca; o robots.txt pode não ser seguido |
| PerplexityBot | Perplexity | Indexar sites para os resultados do Perplexity | O site tende a sair dos resultados do Perplexity |
| Perplexity-User | Perplexity | Abrir páginas a pedido de um usuário | Em geral ignora o robots.txt |
| Google-Extended | Uso do conteúdo em treinamento e no Gemini | Não afeta a busca do Google, nem AI Overview e AI Mode |
Alguns detalhes que a tabela não cabe:
OpenAI. A documentação é direta: sites que bloqueiam o OAI-SearchBot "não vão aparecer nas respostas de busca do ChatGPT", embora ainda possam surgir como links de navegação. Já bloquear o GPTBot "indica que o conteúdo do site não deve ser usado no treinamento" dos modelos. Os dois controles são independentes. A OpenAI avisa que uma mudança no robots.txt leva cerca de 24 horas para valer na busca.
ChatGPT-User. Ele entra em ação quando alguém pede ao ChatGPT para ler uma página específica, por exemplo colando um link. Como a visita foi pedida por uma pessoa, a OpenAI diz que as regras do robots.txt "podem não se aplicar". Ele não é usado para rastrear a web sozinho nem para decidir o que entra na busca.
Perplexity. O PerplexityBot existe para mostrar e linkar sites nos resultados, e a empresa diz que ele não é usado para treinar modelos de IA. Para aparecer, a própria Perplexity recomenda liberar o robô no robots.txt. Já o Perplexity-User, que visita páginas a pedido do usuário, "em geral ignora as regras do robots.txt", nas palavras da empresa. Mudanças levam até 24 horas.
Google. Aqui mora a confusão mais comum. O Google-Extended não é um robô separado, e sim um nome que o site usa no robots.txt para dizer se o conteúdo lido pelo Google pode ser usado para treinar e dar base aos modelos Gemini. O Google afirma que ele "não afeta a inclusão de um site na Busca do Google" nem é sinal de ranqueamento. E o AI Overview e o AI Mode fazem parte da Busca: quem controla se o site aparece neles é o Googlebot, o robô de busca comum, e as regras de trecho (nosnippet, max-snippet, noindex).
Três configurações comuns e o efeito de cada uma
1. Quero aparecer nas respostas, mas fora do treinamento.
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Efeito: o site segue disponível para a busca do ChatGPT, do Perplexity e do Google, incluindo AI Overview e AI Mode, e pede para não ser usado em treinamento pela OpenAI e no Gemini.
2. Quero ficar fora de tudo que é IA.
Bloquear GPTBot, OAI-SearchBot, PerplexityBot e Google-Extended. Efeito: o site sai das respostas com busca do ChatGPT e do Perplexity, mas continua aparecendo no AI Overview e no AI Mode, porque esses dependem do Googlebot. Sair deles exige regras de trecho ou noindex, que afetam também a busca comum.
3. Bloqueio por engano.
O caso mais frequente nem passa pelo robots.txt. Firewalls e CDNs, os serviços que ficam entre o site e o visitante, às vezes barram robôs de IA por padrão. A documentação do Perplexity cita esse problema e dá orientações para liberar os robôs nessas ferramentas. Vale testar mesmo com o robots.txt liberado.
O robots.txt depende de boa-fé
Em agosto de 2025, a Cloudflare acusou o Perplexity de usar robôs não declarados, trocando a identificação, para ler sites que tinham bloqueado o acesso. A Cloudflare tirou o Perplexity da sua lista de robôs verificados. O Perplexity contestou a acusação. No mesmo texto, a Cloudflare citou a OpenAI como exemplo de empresa que respeita o robots.txt.
O caso mostra o limite do arquivo: ele funciona com quem decide seguir. Para quem precisa de bloqueio de verdade, a proteção é no servidor ou no firewall.
Antes de mexer, decida o que você quer
Para a maioria das marcas, a dúvida prática é se faz sentido ficar fora das respostas de IA, onde muita gente hoje pesquisa produtos e serviços. Bloquear o treinamento e manter a busca é uma escolha comum, porque separa as duas coisas. Explicamos como o ChatGPT usa a busca em como o ChatGPT escolhe fontes.
Depois de qualquer mudança, vale acompanhar se a marca segue aparecendo. A DeepMetric coleta as respostas de ChatGPT, Gemini, Google AI Mode e Google AI Overview em sessão anônima no Brasil e mostra quais domínios cada uma cita. A página SEO para IA explica a relação entre as duas coisas.