SEO
Entenda como orientar o Googlebot sem impedir o acesso ao que importa.
Uma regra mal colocada no robots.txt pode impedir o Googlebot de rastrear páginas importantes. Por isso, confira o efeito de cada instrução antes de publicar.
O arquivo robots.txt publica instruções para rastreadores automatizados, como o Googlebot. Ele orienta quais caminhos podem acessar, mas não controla pessoas que abrem endereços públicos.
Cada grupo começa com User-agent, que identifica o rastreador. User-agent: * vale para rastreadores compatíveis em geral; User-agent: Googlebot especifica o robô do Google.
O escopo depende do protocolo e do host: versões HTTP e HTTPS, ou um subdomínio, podem exigir arquivos próprios. Um robots.txt não define regras para todos os hosts.
Crie um arquivo de texto simples chamado robots.txt e publique-o na raiz do host, como exemplo.com/robots.txt. Depois, abra esse endereço e confirme que o conteúdo está correto.
Disallow solicita que o rastreador evite um caminho; Allow pode liberar um caminho mais específico dentro de uma área bloqueada. Adapte os exemplos ao site e teste antes de publicar.
Uma URL bloqueada ainda pode aparecer nos resultados se outros sites apontarem para ela. Para evitar indexação, o Google precisa rastrear a página e encontrar noindex ou X-Robots-Tag.
Verifique o /robots.txt no próprio host e confirme que o servidor entrega as regras esperadas. Consulte o Search Console para analisar informações sobre o acesso do Google.
Disallow: / pode bloquear o rastreamento de todo o host para aquele grupo. Também evite bloquear CSS, JavaScript ou imagens necessários para renderizar páginas importantes.
O robots.txt fica na raiz do host; não precisa ser adicionado ao sitemap. Domínio e subdomínios, como exemplo.com e blog.exemplo.com, precisam de arquivos próprios.
Continue a leitura