Robots.txt: Como o ficheiro controla os rastreadores e os bots de IA

O ficheiro robots.txt é um dos ficheiros de controlo mais antigos da Web e, mesmo assim, é frequentemente mal configurado. Este ficheiro define quais as áreas de um site que podem ser visitadas pelos rastreadores dos motores de busca e, cada vez mais, determina também se os sistemas de IA utilizam conteúdos para dados de treino ou respostas em tempo real. A nossa publicação sobre rastreamento e tempo de carregamento mostra o quão intimamente isto está relacionado com a base técnica de um site. Em complemento, o mapa do site indica quais as páginas que estão disponíveis para indexação.

Índice

O que o ficheiro robots.txt faz exatamente

Controlar os rastreadores clássicos dos motores de busca

Os rastreadores de IA e o novo panorama dos bots

Manter e testar corretamente o ficheiro robots.txt

Robots.txt: erros frequentes na prática

O ficheiro robots.txt em conjunto com a gestão de tags

O que o ficheiro robots.txt faz exatamente

O ficheiro encontra-se no diretório raiz de um domínio e é composto por regras de texto simples. Cada regra dirige-se a um determinado rastreador através da entrada «User-agent» e define, através de «Disallow» ou «Allow», quais os caminhos que este pode visitar. O Google, o Bing e outros motores de busca leem este ficheiro antes de cada processo de rastreamento e, regra geral, respeitam as especificações de forma fiável.

Basta uma única entrada «Disallow» incorreta no diretório raiz para que todo o domínio seja excluído do índice do Google.

É por isso que este ficheiro é um dos parâmetros técnicos mais sensíveis de um site. Basta uma barra esquecida ou um caminho demasiado abrangente para bloquear áreas que, na verdade, deveriam estar visíveis. Quem alterar o ficheiro deve sempre testar o resultado antes de a nova versão ser publicada.

Permitir o acesso específico de determinados bots
Excluir diretórios inteiros do rastreamento
Definir o caminho para o mapa do site
Direcionar o orçamento de rastreamento para páginas importantes
Proteger o conteúdo duplicado contra a indexação

Solicite uma análise gratuita do potencial da sua empresa

Solicitar agora

Controlar os rastreadores clássicos dos motores de busca

O Googlebot, o Bingbot e outros rastreadores de motores de busca semelhantes leem o ficheiro robots.txt de novo em cada visita. Através de linhas específicas de «user-agent», é possível definir uma regra própria para cada bot, por exemplo, para que o Bing tenha acesso a áreas diferentes das que o Google acede. A Google Search Console disponibiliza uma ferramenta de teste específica para este efeito, que permite verificar URLs individuais em relação ao ficheiro atual, antes de uma alteração ter efeitos reais. Especialmente no caso de grandes lojas online com páginas de filtragem ou percursos do carrinho de compras, uma configuração adequada evita que o valioso orçamento de rastreamento seja desperdiçado em páginas irrelevantes.

Definir regras específicas para cada motor de busca
Excluir as páginas de filtros e do carrinho de compras
Utilizar a ferramenta de teste antes de cada alteração
Definir o atraso de rastreamento, se necessário

Os rastreadores de IA e o novo panorama dos bots

Para além dos motores de busca tradicionais, existe hoje um número crescente de rastreadores de IA que analisam o ficheiro robots.txt, entre os quais o GPTBot, o ClaudeBot, o Google-Extended ou o CCBot. Através de entradas específicas no campo «User-agent», é possível definir se estes sistemas podem recolher conteúdos para dados de treino ou utilizá-los para respostas em tempo real. Este controlo é, entretanto, uma componente essencial de uma estratégia de visibilidade técnica bem estruturada, tal como é também verificado na nossa auditoria SEO/GEO. Mesmo no caso de um relançamento, a verificação do ficheiro robots.txt é um dos primeiros passos a dar, para garantir que nenhum bloqueio indesejado seja transferido para o novo site. Quem pretender acompanhar também os fatores de classificação estruturados encontrará abordagens mais aprofundadas no nosso artigo sobre otimização on-page.

Autorizar especificamente o GPTBot e o ClaudeBot
Definir separadamente o Google Extended para a formação em IA
Verificar as regras antes de cada relançamento
Auditar regularmente a visibilidade técnica

Marcar uma reunião estratégica com a nossa equipa

Solicitar agora

Manter e testar corretamente o ficheiro robots.txt

Este ficheiro não é uma tarefa pontual, mas deve ser atualizado sempre que houver uma alteração significativa na estrutura do site. Novos diretórios, caminhos renomeados ou uma mudança no sistema de gestão de conteúdos alteram frequentemente as áreas que devem efetivamente ser rastreadas. Uma verificação regular na Search Console permite verificar se o Google se depara com bloqueios que já não são desejados ou se áreas importantes continuam a estar bloqueadas acidentalmente. As ferramentas externas de análise técnica também ajudam a identificar diferenças entre a versão atual e uma versão anterior do ficheiro, antes que isso se transforme num verdadeiro problema de visibilidade.

Verificar o ficheiro após cada alteração na estrutura
Verificar regularmente os avisos da Search Console
Verificar se as restrições antigas continuam a ser válidas
Documentar as alterações antes da entrada em funcionamento

Robots.txt: erros frequentes na prática

O erro mais comum é uma entrada «Disallow» demasiado abrangente, que bloqueia inadvertidamente secções inteiras de um site, embora se destinasse apenas a um único diretório. Além disso, regras contraditórias, em que uma linha posterior revoga uma autorização anterior, conduzem frequentemente a um comportamento de rastreamento pouco claro. Especialmente quando se muda de sistema de gestão de conteúdos, o ficheiro é muitas vezes transferido sem alterações, apesar de a estrutura de caminhos ter mudado completamente.

Outro problema clássico diz respeito às estruturas de URL que mudam com o tempo: as regras «Disallow» antigas passam então a apontar para caminhos que já não existem há muito tempo, enquanto novas áreas, efetivamente sensíveis, ficam desprotegidas.

Não definir entradas «Disallow» de forma demasiado abrangente
Resolver de forma coerente as regras contraditórias
Verificar novamente o ficheiro após a mudança de sistema
Eliminar regularmente os caminhos obsoletos

O ficheiro robots.txt em conjunto com a gestão de tags

Ferramentas como o Google Tag Manager carregam frequentemente scripts externos provenientes de domínios adicionais, que, por sua vez, podem ter as suas próprias regras de rastreamento. Quem se concentra apenas no seu próprio ficheiro robots.txt pode facilmente ignorar o facto de que um script incorporado num domínio diferente tem regras completamente diferentes.

Em configurações mais complexas, com vários serviços integrados, vale, por isso, a pena fazer um levantamento regular de todos os domínios envolvidos, e não apenas do domínio principal da própria empresa.

Os scripts externos vêm com as suas próprias regras
Não se deve concentrar apenas no domínio principal
Listar regularmente os domínios envolvidos
Atualizar a configuração para novos serviços

Quem encarar o robots.txt, o mapa do site e a estrutura técnica como um sistema interligado, em vez de tarefas individuais e isoladas, deteta os erros mais rapidamente e evita que uma alteração num ponto provoque, sem que se perceba, efeitos colaterais noutro ponto, que só se tornam evidentes semanas mais tarde.