Uma única linha no lugar errado pode tirar do rastreamento páginas que deveriam aparecer na busca. O arquivo robots.txt orienta rastreadores, como o Googlebot, sobre quais partes de um site eles podem acessar. Ele não garante que uma página desapareça do Google nem impede que alguém abra um endereço público no navegador.
Usado com cuidado, ajuda a controlar o rastreamento e a evitar visitas desnecessárias a determinadas áreas. A seguir, veja como criar e publicar o arquivo, interpretar as regras e verificar se uma alteração bloqueou algo importante.
Pontos-chave
- O arquivo vale para um host específico, incluindo protocolo e subdomínio; cada combinação pode precisar do próprio arquivo.
Disalloworienta rastreadores compatíveis a não acessar caminhos, mas não é uma barreira de segurança.- Para impedir a indexação de uma página, use um método de controle de indexação que o Google consiga rastrear, como uma diretiva
noindex. - Depois de publicar uma mudança, confira o arquivo disponível no servidor e monitore o rastreamento antes de ampliar bloqueios.
O que é o arquivo robots.txt e para que serve
O arquivo robots.txt é um documento de texto no padrão Robots Exclusion Protocol que publica instruções de rastreamento para robôs automatizados em um host. No uso cotidiano, ele informa ao Googlebot quais caminhos deve evitar ou pode acessar; não concede nem revoga permissões de acesso a pessoas ou sistemas que ignorem essas regras.
O Google verifica esse arquivo antes de rastrear URLs do host. Isso permite, por exemplo, reduzir o rastreamento de páginas de resultados internos ou áreas sem valor para a busca. A documentação do Google Search Central sobre robots.txt detalha o funcionamento e as limitações do protocolo.
O arquivo não é obrigatório: se não houver um, os rastreadores compatíveis podem acessar as URLs públicas, respeitadas outras restrições. Para sites pequenos, pode não ser necessário criar regras. O ponto é evitar bloqueios preventivos sem uma razão concreta.
Como o Google interpreta agentes, regras e escopo
As regras são organizadas em grupos. Cada grupo começa com User-agent, que identifica o rastreador ao qual as instruções se aplicam, e pode conter diretivas como Disallow e Allow. Um grupo com User-agent: * se destina a todos os rastreadores compatíveis, enquanto User-agent: Googlebot especifica o robô do Google.
O escopo depende do host e do protocolo. Assim, https://exemplo.com/robots.txt, http://exemplo.com/robots.txt e https://loja.exemplo.com/robots.txt não são o mesmo arquivo. Regras publicadas no domínio principal não controlam automaticamente um subdomínio.
Se houver mais de um grupo aplicável a um rastreador, o Google combina as regras específicas pertinentes. Quando regras concorrentes têm o mesmo nível de especificidade, o Google tende a favorecer a mais permissiva, como Allow em vez de Disallow. Ainda assim, regras com curingas e prefixos podem ser difíceis de avaliar: teste o caminho exato, não apenas a intenção geral.
O RFC 9309 descreve o protocolo de exclusão de robôs. Ele padroniza como rastreadores podem interpretar instruções, mas não transforma essas instruções em autenticação ou controle de acesso.
Como criar e publicar o arquivo no host correto
Crie um arquivo de texto simples chamado robots.txt e publique-o na raiz do host que deseja controlar, por exemplo, em https://exemplo.com/robots.txt. O nome diferencia maiúsculas de minúsculas em muitos servidores, então use letras minúsculas e confirme que o endereço retorna o conteúdo esperado.
- Liste os caminhos que precisam de controle e confirme que não são necessários para rastrear páginas importantes.
- Escreva as regras em texto simples, com uma diretiva por linha. Comentários podem começar com
#. - Envie o arquivo para a raiz do host, sem deixá-lo em uma subpasta como
/blog/robots.txt. - Abra o endereço público do arquivo e confira o conteúdo e o código de resposta do servidor.
- Teste URLs representativas e acompanhe o relatório de rastreamento antes de aplicar bloqueios mais abrangentes.
Em lojas virtuais, filtros e parâmetros podem gerar muitas URLs semelhantes. Bloquear um padrão sem conferir como ele corresponde aos caminhos pode atingir páginas de categoria ou produtos. Para tratar a rastreabilidade do catálogo junto com outros ajustes, consulte as recomendações de SEO para e-commerce.
Principais regras e exemplos de robots.txt
As diretivas abaixo cobrem os usos mais frequentes. Os exemplos são ilustrativos: substitua os caminhos pelos do seu site e teste o resultado antes de publicar.
Diretiva Exemplo Efeito User-agentUser-agent: *Aplica o grupo a rastreadores compatíveis em geral. DisallowDisallow: /admin/Solicita que o rastreador não acesse caminhos sob /admin/.AllowAllow: /admin/ajuda/Permite um caminho mais específico dentro de uma área bloqueada, para rastreadores que reconhecem a diretiva. SitemapSitemap: https://exemplo.com/sitemap.xmlIndica a localização do sitemap; pode ser lida por rastreadores que dão suporte a essa diretiva.
Para bloquear uma pasta sem bloquear o site inteiro, use um caminho específico, como Disallow: /area-interna/, em vez de Disallow: /. A barra final ajuda a deixar claro que a regra se aplica àquela pasta e aos caminhos abaixo dela. Um exemplo mínimo seria:
User-agent: *
Disallow: /area-interna/
Sitemap: https://exemplo.com/sitemap.xml
O Google também reconhece padrões como * e o marcador $ para correspondência de caminhos. Como a interpretação pode variar entre rastreadores, não dependa de extensões específicas se o arquivo precisa atender a vários robôs.
Robots.txt, indexação e proteção de conteúdo
Bloquear o rastreamento não garante que uma página deixe de aparecer no Google. Se outros sites apontarem para uma URL bloqueada, o Google pode conhecê-la e, em algumas situações, exibi-la sem conteúdo descritivo, pois não consegue rastreá-la para ler a página.
Quando o objetivo é evitar a indexação, o Google precisa conseguir rastrear a página para encontrar uma diretiva como a meta tag noindex ou um cabeçalho HTTP X-Robots-Tag. Se o robots.txt bloquear a URL, o rastreador não verá essa instrução. Para conteúdo que exige privacidade, use autenticação ou controle de acesso no servidor; um caminho listado em um arquivo público não é segredo.
Essa distinção também importa para recursos de renderização. Bloquear CSS ou JavaScript que a página usa pode dificultar a interpretação do conteúdo pelo Google. O robots.txt controla solicitações de rastreamento, mas não substitui decisões de indexação, remoção de resultados ou segurança.
Como testar e corrigir problemas de rastreamento
Comece verificando a versão publicada em /robots.txt, não apenas o arquivo local. Confirme que o servidor retorna o texto esperado e que uma regra não bloqueia, por engano, a página inicial, diretórios de conteúdo ou recursos necessários.
O Search Console oferece relatórios de rastreamento e informações sobre o acesso do Google ao arquivo. Consulte a documentação oficial sobre o relatório de estatísticas de rastreamento do Search Console para analisar respostas do servidor, solicitações e problemas de disponibilidade. A ferramenta de inspeção de URL também ajuda a verificar o estado de uma página específica, embora não substitua a validação de todas as regras.
Uma alteração pode ser reconhecida quando o Google voltar a buscar o arquivo; não existe prazo fixo que sirva para todos os sites. A frequência depende do rastreamento e da disponibilidade do servidor. Se a mudança for urgente, confirme que o arquivo está acessível e use as ferramentas do Search Console para acompanhar a situação, sem presumir que a publicação produziu efeito imediato.
Para interpretar rastreamento no contexto mais amplo da visibilidade orgânica, é útil entender como o Search Console ajuda a monitorar um site.
Erros comuns ao configurar regras
O erro de maior impacto é usar Disallow: / sem perceber que a regra bloqueia o rastreamento de todo o host para aquele grupo. Outro problema recorrente é subir o arquivo em uma subpasta: o Google procura o documento na raiz do host, não dentro do diretório que se deseja controlar.
Também é comum bloquear arquivos CSS, JavaScript ou imagens usados na renderização. Antes de impedir o acesso a uma pasta de recursos, verifique se páginas importantes dependem dela. E, ao liberar uma exceção dentro de um caminho bloqueado, teste a URL completa: diferenças de barras, prefixos e curingas podem mudar o resultado.
Se uma página importante deixar de ser rastreada após uma edição, reverta a regra suspeita primeiro e depois teste novamente. Mudar várias diretivas ao mesmo tempo dificulta identificar a causa do bloqueio.
📱 Veja este conteúdo em Web Story
Perguntas frequentes
Preciso adicionar o caminho do robots.txt ao sitemap?
Não. O arquivo robots.txt é encontrado em uma localização padronizada na raiz do host. A diretiva Sitemap é que pode ser incluída no próprio arquivo para apontar ao sitemap XML.
Posso usar o mesmo arquivo para o domínio e todos os subdomínios?
Não. Cada host precisa do seu próprio arquivo na raiz correspondente. Por exemplo, um arquivo em exemplo.com não define as regras de blog.exemplo.com.
O que acontece se o robots.txt ficar indisponível?
O comportamento depende da resposta do servidor e da situação do arquivo. Falhas temporárias podem afetar o rastreamento, então monitore erros de acesso e evite tratar um erro 5xx como se fosse uma configuração estável.
Posso comentar uma regra sem removê-la?
Sim. Inicie a linha com # para transformá-la em comentário. Isso é útil para registrar por que uma regra existe, mas confirme que a diretiva comentada não continua ativa em outra linha.
Antes da próxima publicação, abra o endereço do arquivo no navegador e teste ao menos uma URL que deve ser bloqueada e outra que precisa continuar acessível. Esse critério simples ajuda a detectar regras amplas antes que afetem páginas relevantes.
