Como funciona um crawler

Um rastreador começa normalmente com uma lista de URLs conhecidas e descarrega o seu código-fonte. A partir desse código, extrai novos links e coloca-os numa lista de espera para a próxima visita, criando-se assim, com o tempo, um enorme mapa da Web em constante crescimento. Este mapa constitui a base para praticamente todos os passos seguintes, desde o índice de pesquisa até ferramentas de análise específicas e serviços de monitorização.

Dica: Um mapa do site em XML acelera consideravelmente este processo, pois fornece ao rastreador todos os URLs importantes num só lugar, em vez de este ter de os descobrir através de links individuais.

Este ciclo de carregamento, análise e acompanhamento decorre 24 horas por dia e em grande escala, na maioria das vezes distribuído por milhares de servidores em simultâneo. Mesmo os sites mais pequenos são visitados várias vezes por dia, muitas vezes sem que os administradores se apercebam disso, desde que não surjam problemas como uma atualização repentina do algoritmo. Só ao consultar os registos do servidor é que este tráfego constante de bots se torna realmente visível, na maioria das vezes numa escala que surpreende muitos administradores à primeira vista.

• Início através de listas de URLs conhecidas
• O código-fonte está a ser lido
• Os novos links são colocados na lista de espera
• O processo decorre de forma contínua e em paralelo

Tipos de rastreadores

Para além dos rastreadores dos motores de busca, existem rastreadores de ferramentas de SEO que verificam especificamente uma única página em busca de erros, bem como bots de comparação de preços e de arquivo. Cada tipo tem um objetivo próprio, embora a tecnologia subjacente seja semelhante. A isto juntam-se agora os rastreadores de IA, que recolhem conteúdos para modelos de linguagem em vez de para um índice de pesquisa clássico, o que faz com que as fronteiras entre as categorias se tornem cada vez mais difusas. Para os operadores, torna-se assim mais difícil distinguir claramente cada tipo de bot.

• Rastreadores de motores de busca para o índice
• Ferramentas de SEO para verificação de erros
• Portais de preços e comparação
• Bots de arquivo para a história da Web

Dirigir e controlar os veículos sobre esteiras

Através do ficheiro robots.txt, é possível definir quais as áreas que um rastreador pode visitar. Muitas lojas excluem deliberadamente áreas importantes, como o sistema de carrinho de compras, para reduzir a carga no servidor e evitar conteúdos duplicados. A SEO técnica de um site também influencia a eficiência com que um rastreador encontra as áreas importantes e a quantidade de recursos que são desperdiçados em páginas sem importância. Uma estrutura de links internos bem planeada direciona o rastreador de forma específica para as páginas que realmente importam, sendo este um elemento central de qualquer otimização sólida de SEO on-page.

• O ficheiro robots.txt regula o acesso
• O mapa do site remete para páginas importantes
• Os bloqueios reduzem a carga do servidor
• Os registos do servidor mostram as visitas efetivas

Erros típicos no controlo do rastreador

É frequente que diretórios inteiros sejam bloqueados acidentalmente através do ficheiro robots.txt, por exemplo, após um relançamento ou a instalação de um novo CMS. Esses erros passam frequentemente despercebidos durante muito tempo, porque não se manifestam diretamente na aparência do site, mas sim apenas através da diminuição do número de visitantes e de relatórios vazios na Search Console. Um teste rápido, realizado imediatamente após cada alteração técnica de maior envergadura, revela geralmente esses erros de imediato, em vez de só os detetar semanas mais tarde.

• Obstáculos após o relançamento que passaram despercebidos
• Caminhos incorretos no ficheiro robots.txt
• O mapa do site não está atualizado
• Erros que só se tornam visíveis mais tarde

Compreender o orçamento de rastreamento e utilizá-lo de forma específica

Cada site recebe de um rastreador apenas uma quota limitada de atenção, frequentemente designada por «orçamento de rastreamento». O número de páginas visitadas e o período de tempo em que isso ocorre dependem da dimensão do site, do seu desempenho técnico e da frequência com que são publicados novos conteúdos. Se este orçamento for desperdiçado em páginas irrelevantes ou duplicadas, os novos conteúdos importantes permanecem por descobrir durante mais tempo do que o necessário.

Quem pretenda gerir o orçamento de forma consciente deve excluir sistematicamente as áreas menos importantes da estrutura de rastreamento e, em vez disso, criar uma hierarquia clara composta por páginas de categorias e de detalhes. Uma estrutura clara, que permita chegar à página mais importante com poucos cliques, ajuda nesse sentido, tal como um mapa do site atualizado regularmente, tal como descrito nos Conceitos Básicos das Ferramentas para Webmasters.

Mesmo parâmetros de URL aparentemente inofensivos, como os utilizados para ordenação ou rastreamento, criam constantemente, do ponto de vista de um rastreador, novas páginas tecnicamente independentes e, assim, consomem, sem que se perceba, uma parte considerável do orçamento disponível. Uma tag «canonical» definida de forma consistente redireciona a atenção para a versão principal propriamente dita e evita que as páginas duplicadas consumam recursos desnecessariamente.

• O orçamento é, por natureza, limitado
• As páginas sem importância desperdiçam capacidade
• Uma hierarquia clara das páginas proporciona uma visão geral
• O mapa do site atual redireciona de forma específica

Os registos do servidor como ferramenta para o controlo dos rastreadores

Os registos do servidor mostram exatamente quando cada rastreador visitou cada página, independentemente do que as ferramentas de análise no navegador venham a indicar posteriormente. Estes dados brutos proporcionam, assim, uma perspetiva que as ferramentas clássicas de análise da Web, por natureza, não refletem, uma vez que se concentram nos visitantes humanos, tal como descrito nos princípios básicos da análise de dados no marketing.

Vale a pena consultar regularmente estes registos, especialmente após alterações técnicas, como por exemplo após um relançamento, porque é aí que se verifica imediatamente se os rastreadores encontram novas páginas com erros ou se áreas importantes passam subitamente a ser visitadas com menos frequência. Quem negligencia esta verificação, muitas vezes só se apercebe dos problemas semanas mais tarde, ao constatar uma diminuição no número de visitantes.

Quem quiser analisar a situação com mais atenção deve verificar também se um suposto bot provém efetivamente do fornecedor indicado, pois alguns programas maliciosos fazem-se passar falsamente por um crawler conhecido para contornar bloqueios. Uma simples comparação do endereço IP com os intervalos oficiais do respetivo fornecedor permite esclarecer rapidamente esta questão.

• Visitas de bots identificáveis com precisão no registo
• Complementa de forma útil a análise clássica da Web
• Particularmente importante após alterações técnicas
• Sistema de alerta precoce para problemas de rastreamento

O que fazem os rastreadores de IA

Tal como qualquer bot, um crawler de IA descarrega o código-fonte de uma página e analisa o texto. Contudo, ao contrário do que acontece no crawling clássico, raramente se trata de fatores de classificação, mas sim de matéria-prima para um modelo de linguagem ou de uma resposta imediata e pontual a uma pergunta concreta do utilizador.

Aviso: Muitos rastreadores de IA respeitam o ficheiro robots.txt apenas parcialmente ou utilizam vários user-agents em paralelo; por isso, uma única entrada muitas vezes não é suficiente para manter o controlo total.

Alguns destes bots recolhem exclusivamente dados de treino para futuras versões do modelo; outros obtêm conteúdos atualizados a cada pedido do utilizador, para gerar uma resposta atualizada. Esta diferença determina também a rapidez com que os conteúdos próprios aparecem nas respostas e durante quanto tempo as informações desatualizadas permanecem lá, sem que uma nova atualização da página as corrija automaticamente.

• O GPTBot recolhe dados para a OpenAI
• O PerplexityBot obtém conteúdos em tempo real
• O Google Extended afeta a formação do Gemini
• O ClaudeBot faz o rastreamento para os modelos da Anthropic

Diferença em relação aos rastreadores clássicos dos motores de busca

O Googlebot rastreia uma página para a incluir num índice destinado à lista de resultados. Os rastreadores de IA, por outro lado, alimentam-se de um corpus de treino ou de uma resposta única gerada instantaneamente, sem qualquer índice de pesquisa próprio no sentido clássico. Esta ausência de estrutura de índice torna ainda mais difícil medir de forma fiável a própria visibilidade perante os rastreadores de IA.

Para os operadores, isto significa o dobro do trabalho na gestão: uma regra no ficheiro robots.txt para o Google não é automaticamente válida para todos os rastreadores de IA, uma vez que cada fornecedor utiliza os seus próprios user-agents e as suas próprias regras, que, além disso, podem mudar constantemente. Por isso, uma lista de bots autorizados ou bloqueados, uma vez criada, tem de ser revista e atualizada regularmente, uma tarefa que já faz parte integrante do trabalho de qualquer agência GEO.

• O Googlebot alimenta um índice de pesquisa
• Os rastreadores de IA alimentam modelos ou respostas
• Cada bot precisa das suas próprias regras
• O controlo exige uma manutenção contínua

Controlar a visibilidade perante os rastreadores de IA

Quem quiser aparecer nas respostas da IA tem de autorizar ativamente os rastreadores de IA; quem não quiser, tem de os bloquear de forma específica. Ambas as opções são possíveis através do ficheiro robots.txt, mas exigem uma decisão consciente em vez de uma configuração padrão pré-definida, pois um bloqueio generalizado exclui automaticamente também a própria visibilidade nas respostas da IA, mesmo que isso não tenha sido de todo a intenção.

• Promover uma maior visibilidade da IA
• Bloqueios para proteger os próprios conteúdos
• Verificação regular do ficheiro robots.txt
• Surgem constantemente novos bots

Detetar rastreadores de IA nos registos do servidor

Os registos do servidor mostram de forma fiável quais os rastreadores de IA que visitam efetivamente uma página, independentemente do que esteja permitido ou bloqueado no ficheiro robots.txt. Uma análise regular destes registos revela se surgem novos bots ou se os rastreadores conhecidos alteraram a frequência das visitas, o que constitui frequentemente um primeiro indício de uma visibilidade crescente da IA. Sem esta verificação, qualquer avaliação da própria visibilidade da IA acaba por ser, em última análise, mera suposição.

• Identificar o User-Agent no registo
• Acompanhar a frequência de visitas ao longo do tempo
• Pesquisar bots desconhecidos de forma específica
• Ajustar as regras, se necessário

Configurar passo a passo o rastreador de IA no ficheiro robots.txt

Quem pretenda controlar os rastreadores de IA de forma específica não deve limitar-se a uma única regra genérica, mas sim criar uma entrada específica para cada bot relevante. Em primeiro lugar, vale a pena fazer um levantamento: que user-agents aparecem nos registos do próprio servidor e quais deles devem ter acesso no futuro? Só depois disso se procede à configuração propriamente dita do ficheiro robots.txt, com blocos individuais para cada bot.

É também importante testar efetivamente as alterações após a publicação, por exemplo, através das ferramentas de verificação da Search Console ou verificando novamente os registos passados alguns dias. Só assim é possível verificar se um bot respeita de facto a nova regra e se o comportamento muda conforme pretendido.

Além disso, faz sentido definir uma classificação mais detalhada por diretório, em vez de uma única regra para todo o domínio, por exemplo, quando se pretende abrir especificamente uma secção do blogue, mas bloquear sistematicamente um portal interno para clientes. Além disso, alguns rastreadores de IA ignoram o campo «crawl-delay», pelo que a frequência real de acesso só pode ser observada de forma fiável através dos registos, e não apenas através do ficheiro robots.txt.

• Verificar o registo do servidor para detetar bots existentes
• Criar um bloco próprio para cada agente de utilizador
• Testar as regras após a publicação
• Verificar o resultado ao fim de alguns dias

A interação entre os rastreadores de IA e o mapa do site da própria empresa

Um mapa do site em XML bem elaborado não só ajuda os motores de busca tradicionais, como também facilita a localização de conteúdos atualizados por parte de alguns rastreadores de IA, desde que o respetivo bot os tenha em consideração. Quem ainda não sabe como configurar o seu mapa do site pode encontrar as noções técnicas básicas numa introdução aos conceitos fundamentais das Ferramentas para webmasters. Além disso, vale a pena compreender o que significa quando uma página é rastreada, pois este conceito básico também ajuda a compreender o comportamento específico dos bots de IA.

Se não existir um mapa do site atualizado ou se este contiver URLs desatualizadas, os rastreadores de IA também desperdiçam recursos em páginas que já não são relevantes, em vez de indexarem rapidamente conteúdos novos ou atualizados. A atualização regular do mapa do site compensa, portanto, duplamente: tanto para os rankings tradicionais como para a própria visibilidade nas respostas da IA.

Um pormenor frequentemente ignorado é a data da última alteração no mapa do site: se este campo estiver corretamente preenchido, os bots identificam mais rapidamente quais as páginas que foram efetivamente alteradas desde a última visita, em vez de terem de verificar novamente cada URL na íntegra. Especialmente no caso de páginas de glossário atualizadas com frequência, vale particularmente a pena dedicar atenção a este pequeno pormenor técnico.

• O mapa do site atual facilita a navegação
• Os URLs desatualizados desperdiçam recursos
• A manutenção tem impacto no SEO e na IA
• Compreender os conceitos básicos relacionados com o rastreamento

Como é que uma página é rastreada

O Googlebot segue links de uma URL para a seguinte e, ao fazê-lo, descarrega o código-fonte completo de cada página. Esta visita, por si só, denomina-se «crawling», independentemente do que venha a acontecer posteriormente com os dados recolhidos. Além disso, o bot regista quando uma página foi visitada pela última vez e planeia a próxima visita com base nisso, geralmente tendo em conta a frequência de alterações registada até ao momento na respetiva URL.

Aviso: Uma regra robots.txt mal definida ou uma tag noindex esquecida impede o rastreamento, mesmo que o conteúdo da página esteja correto e esta funcione sem erros técnicos.

A frequência com que uma página é visitada depende do chamado «orçamento de rastreamento». As páginas com atualizações regulares e uma forte rede de links internos são tratadas com prioridade, enquanto as subpáginas negligenciadas são visitadas com menos frequência e, por isso, as atualizações só se tornam visíveis com algum atraso. Especialmente no caso de grandes sites com milhares de subpáginas, este orçamento determina de forma significativa quais as áreas que são visitadas atempadamente e quais as que só o são ocasionalmente.

• O bot segue links internos e externos
• O código-fonte está a ser carregado na íntegra
• O ficheiro robots.txt pode bloquear o acesso
• O orçamento de rastreamento controla a frequência das visitas

Ser rastreado não significa necessariamente ser indexado

Os termos «rastreamento» e «indexação» são frequentemente confundidos, mas tratam-se de duas etapas distintas do mesmo processo. Uma página pode ter sido visitada sem que, posteriormente, apareça nos resultados de pesquisa, por exemplo, devido a conteúdo escasso, conteúdo duplicado ou instruções contraditórias no código-fonte, que indicam ao bot que é preferível ignorar a página.

A Search Console indica, para cada URL individualmente, se esta foi rastreada, mas não está atualmente indexada, e, na maioria das vezes, apresenta também o motivo. Quem analisa este relatório regularmente deteta os problemas muito mais cedo do que através da simples observação das posições nos resultados de pesquisa, uma vez que as quedas nas posições só se tornam visíveis, na maioria das vezes, com um atraso considerável.

• O rastreamento é sempre o primeiro passo
• A indexação só se realiza posteriormente
• Conteúdo superficial atrasa a indexação
• Cada URL apresenta o seu próprio estado

O que contém um mapa do site em XML

Do ponto de vista técnico, um mapa do site é um ficheiro XML que fornece, para cada URL, informações adicionais, tais como a data da última alteração, a frequência de atualização ou uma prioridade relativa. Os motores de busca, como o Google, utilizam estes dados para identificar mais rapidamente páginas novas ou alteradas, em vez de se limitarem a percorrer o site exclusivamente através de links internos.

Um mapa do site não garante a indexação; trata-se apenas de um convite ao rastreador para visitar determinadas páginas.

Especialmente no caso de sites muito grandes, com milhares de subpáginas, ou de domínios recém-lançados sem muitos backlinks, um mapa do site bem atualizado acelera consideravelmente a localização de novos conteúdos. Se faltarem páginas importantes no ficheiro ou se este contiver URLs incorretas, desperdiça-se um orçamento de rastreamento valioso.

• Data da última alteração por URL
• Prioridade relativa de cada página
• Frequência de atualização a título de indicação
• Exclusão de conteúdo duplicado

Por que razão os mapas do site são relevantes para as classificações

Um mapa do site não substitui uma boa estrutura de links internos nem a otimização on-page; complementa ambas as medidas. Através da Google Search Console, é possível verificar quantas das URLs submetidas foram efetivamente indexadas e onde surgem discrepâncias. Estes relatórios fornecem frequentemente as primeiras indicações de problemas técnicos, tais como redirecionamentos incorretos, diretórios bloqueados ou páginas órfãs sem ligações internas.

• Verificar discrepâncias entre o mapa do site e o índice
• Detetar atempadamente os redirecionamentos incorretos
• Encontrar páginas órfãs sem ligações internas
• Verificar regularmente os relatórios de indexação

A velocidade de carregamento do próprio ficheiro do mapa do site também é importante, especialmente quando este inclui vários milhares de URLs e é servido por um servidor com pouca capacidade. Um ficheiro comprimido e bem estruturado é lido na íntegra pelos rastreadores de forma mais fiável e rápida do que uma versão desorganizada, com vários megabytes, sem uma estrutura clara.

O mapa do site na prática do SEO técnico

A criação de um mapa do site está intimamente ligada a outros fatores técnicos, como o rastreamento e o tempo de carregamento de uma página. No caso de domínios muito grandes, recomenda-se a divisão em vários ficheiros de mapa do site com um índice principal, para que os motores de busca identifiquem a estrutura mais rapidamente. Também no caso de um relançamento, é obrigatório atualizar e reenviar o mapa do site; caso contrário, este continuará a remeter para URLs antigas que já não existem há muito tempo.

• Dividir domínios grandes em vários ficheiros
• Criar índice geral do mapa do site
• Reenviar após cada relançamento
• Eliminar sistematicamente os URLs antigos

Visão geral dos diferentes tipos de mapa do site

Para além do mapa do site clássico para páginas de texto, existem variantes especializadas para tipos de conteúdo específicos. Um mapa do site de imagens ajuda os motores de busca a indexar de forma específica os elementos gráficos de uma página; um mapa do site de vídeos fornece informações adicionais, como a duração ou a imagem de pré-visualização; e um mapa do site de notícias é relevante para redacções com artigos muito recentes, uma vez que é lido com especial rapidez. Para a maioria dos sites de pequena e média dimensão, basta um único mapa do site bem mantido para todas as páginas; por outro lado, os portais de maior dimensão, com diferentes formatos de conteúdo, beneficiam de uma separação clara por tipo. A variante mais adequada depende do foco de conteúdo do respetivo site e, regra geral, pode ser complementada gradualmente, sem ser necessário reconstruir completamente a estrutura existente.

• Mapa do site de imagens para gráficos e fotografias
• Mapa do site de vídeos com duração e imagem de pré-visualização
• Mapa do site de notícias para artigos editoriais recentes
• Um mapa do site é suficiente para sites mais pequenos

Independentemente do tipo escolhido, aplica-se o seguinte: um mapa do site deve conter exclusivamente páginas reais e acessíveis e ser atualizado automaticamente com regularidade, para que não fique desatualizado com o tempo e não encaminhe os rastreadores para links inativos.

Mapa do site: Erros frequentes na prática

Com o passar do tempo, muitos mapas do site passam a conter URLs que já não existem há muito, porque as páginas foram eliminadas ou renomeadas sem que o ficheiro tenha sido devidamente atualizado. Também os redirecionamentos acabam frequentemente por ser incluídos no mapa do site sem que se dê por isso, embora este deva conter exclusivamente os endereços de destino finais e efetivamente acessíveis. Um sistema de gestão de conteúdos que gere mapas do site automaticamente pode, de facto, reduzir estes erros, mas não substitui uma verificação manual regular.

A manutenção consistente da estrutura de URLs também tem um impacto direto no mapa do site: quem altera os permalinks posteriormente, sem limpar as entradas antigas, acaba por criar ligações incorretas de forma permanente.

• Remover páginas eliminadas do mapa do site
• Indicar apenas os endereços de destino finais
• Não confiar cegamente na geração automática
• Atualizar sistematicamente as alterações nos permalinks

Combinar os dados do mapa do site com ferramentas de análise

Um mapa do site bem organizado só proporciona uma visão completa quando combinado com dados reais dos utilizadores. Através do Google Analytics, é possível verificar se os URLs do mapa do site recebem efetivamente visitantes ou se determinadas secções, apesar de estarem indexadas, raramente são acedidas.

Esta combinação revela, muitas vezes mais rapidamente do que os relatórios de rastreamento por si só, quais as páginas cujo conteúdo deve ser revisto ou que devem ser removidas da estrutura, uma vez que não são relevantes nem para os motores de busca nem para os visitantes.

• Comparar os dados do mapa do site com os números reais de visitantes
• Identificar áreas pouco frequentadas
• Priorizar a revisão com base nos dados
• Os relatórios de rastreamento, por si só, não são suficientes

O que o ficheiro robots.txt faz exatamente

O ficheiro encontra-se no diretório raiz de um domínio e é composto por regras de texto simples. Cada regra dirige-se a um determinado rastreador através da entrada «User-agent» e define, através de «Disallow» ou «Allow», quais os caminhos que este pode visitar. O Google, o Bing e outros motores de busca leem este ficheiro antes de cada processo de rastreamento e, regra geral, respeitam as especificações de forma fiável.

Basta uma única entrada «Disallow» incorreta no diretório raiz para que todo o domínio seja excluído do índice do Google.

É por isso que este ficheiro é um dos parâmetros técnicos mais sensíveis de um site. Basta uma barra esquecida ou um caminho demasiado abrangente para bloquear áreas que, na verdade, deveriam estar visíveis. Quem alterar o ficheiro deve sempre testar o resultado antes de a nova versão ser publicada.

• Permitir o acesso específico de determinados bots
• Excluir diretórios inteiros do rastreamento
• Definir o caminho para o mapa do site
• Direcionar o orçamento de rastreamento para páginas importantes
• Proteger o conteúdo duplicado contra a indexação

Controlar os rastreadores clássicos dos motores de busca

O Googlebot, o Bingbot e outros rastreadores de motores de busca semelhantes leem o ficheiro robots.txt de novo em cada visita. Através de linhas específicas de «user-agent», é possível definir uma regra própria para cada bot, por exemplo, para que o Bing tenha acesso a áreas diferentes das que o Google acede. A Google Search Console disponibiliza uma ferramenta de teste específica para este efeito, que permite verificar URLs individuais em relação ao ficheiro atual, antes de uma alteração ter efeitos reais. Especialmente no caso de grandes lojas online com páginas de filtragem ou percursos do carrinho de compras, uma configuração adequada evita que o valioso orçamento de rastreamento seja desperdiçado em páginas irrelevantes.

• Definir regras específicas para cada motor de busca
• Excluir as páginas de filtros e do carrinho de compras
• Utilizar a ferramenta de teste antes de cada alteração
• Definir o atraso de rastreamento, se necessário

Os rastreadores de IA e o novo panorama dos bots

Para além dos motores de busca tradicionais, existe hoje um número crescente de rastreadores de IA que analisam o ficheiro robots.txt, entre os quais o GPTBot, o ClaudeBot, o Google-Extended ou o CCBot. Através de entradas específicas no campo «User-agent», é possível definir se estes sistemas podem recolher conteúdos para dados de treino ou utilizá-los para respostas em tempo real. Este controlo é, entretanto, uma componente essencial de uma estratégia de visibilidade técnica bem estruturada, tal como é também verificado na nossa auditoria SEO/GEO. Mesmo no caso de um relançamento, a verificação do ficheiro robots.txt é um dos primeiros passos a dar, para garantir que nenhum bloqueio indesejado seja transferido para o novo site. Quem pretender acompanhar também os fatores de classificação estruturados encontrará abordagens mais aprofundadas no nosso artigo sobre otimização on-page.

• Autorizar especificamente o GPTBot e o ClaudeBot
• Definir separadamente o Google Extended para a formação em IA
• Verificar as regras antes de cada relançamento
• Auditar regularmente a visibilidade técnica

Manter e testar corretamente o ficheiro robots.txt

Este ficheiro não é uma tarefa pontual, mas deve ser atualizado sempre que houver uma alteração significativa na estrutura do site. Novos diretórios, caminhos renomeados ou uma mudança no sistema de gestão de conteúdos alteram frequentemente as áreas que devem efetivamente ser rastreadas. Uma verificação regular na Search Console permite verificar se o Google se depara com bloqueios que já não são desejados ou se áreas importantes continuam a estar bloqueadas acidentalmente. As ferramentas externas de análise técnica também ajudam a identificar diferenças entre a versão atual e uma versão anterior do ficheiro, antes que isso se transforme num verdadeiro problema de visibilidade.

• Verificar o ficheiro após cada alteração na estrutura
• Verificar regularmente os avisos da Search Console
• Verificar se as restrições antigas continuam a ser válidas
• Documentar as alterações antes da entrada em funcionamento

Robots.txt: erros frequentes na prática

O erro mais comum é uma entrada «Disallow» demasiado abrangente, que bloqueia inadvertidamente secções inteiras de um site, embora se destinasse apenas a um único diretório. Além disso, regras contraditórias, em que uma linha posterior revoga uma autorização anterior, conduzem frequentemente a um comportamento de rastreamento pouco claro. Especialmente quando se muda de sistema de gestão de conteúdos, o ficheiro é muitas vezes transferido sem alterações, apesar de a estrutura de caminhos ter mudado completamente.

Outro problema clássico diz respeito às estruturas de URL que mudam com o tempo: as regras «Disallow» antigas passam então a apontar para caminhos que já não existem há muito tempo, enquanto novas áreas, efetivamente sensíveis, ficam desprotegidas.

• Não definir entradas «Disallow» de forma demasiado abrangente
• Resolver de forma coerente as regras contraditórias
• Verificar novamente o ficheiro após a mudança de sistema
• Eliminar regularmente os caminhos obsoletos

O ficheiro robots.txt em conjunto com a gestão de tags

Ferramentas como o Google Tag Manager carregam frequentemente scripts externos provenientes de domínios adicionais, que, por sua vez, podem ter as suas próprias regras de rastreamento. Quem se concentra apenas no seu próprio ficheiro robots.txt pode facilmente ignorar o facto de que um script incorporado num domínio diferente tem regras completamente diferentes.

Em configurações mais complexas, com vários serviços integrados, vale, por isso, a pena fazer um levantamento regular de todos os domínios envolvidos, e não apenas do domínio principal da própria empresa.

• Os scripts externos vêm com as suas próprias regras
• Não se deve concentrar apenas no domínio principal
• Listar regularmente os domínios envolvidos
• Atualizar a configuração para novos serviços

Quem encarar o robots.txt, o mapa do site e a estrutura técnica como um sistema interligado, em vez de tarefas individuais e isoladas, deteta os erros mais rapidamente e evita que uma alteração num ponto provoque, sem que se perceba, efeitos colaterais noutro ponto, que só se tornam evidentes semanas mais tarde.