Guia de práticas recomendadas do Robots.txt, parte 2: configuração do seu arquivo robots.txt

Guia de práticas recomendadas do Robots.txt, parte 2: configuração do seu arquivo robots.txt

10/08/2019 Off Por glaucio


A segunda parte do nosso artigo sobre "Guia de melhores práticas do Robots.txt + exemplos" fala sobre como configurar o arquivo robots.txt recém-criado.

Se você não tiver certeza de como criar seu próprio arquivo robots.txt ou se não tiver certeza de qual é, vá para nossa primeira parte desta série de artigos, “Guia de melhores práticas do Robots.txt + exemplos” onde você poderá Aprenda os detalhes do que é um arquivo robots.txt e como configurá-lo corretamente. Mesmo se você estiver no jogo de SEO há algum tempo, o artigo oferece um ótimo curso de atualização.

Como adicionar um arquivo robots.txt ao seu site

Um arquivo Robots.txt normalmente é armazenado na raiz do seu site para que ele seja encontrado. Por exemplo, se o seu site fosse https://www.mysite.com, seu arquivo robots.txt seria encontrado aqui: https://www.mysite.com/robots.txt. Ao colocar o arquivo na pasta principal ou no diretório raiz do seu site, você poderá controlar o rastreamento de todos os URLs no domínio https://www.mysite.com.

Também é importante saber que um arquivo robots.txt é sensível a maiúsculas e minúsculas. Portanto, lembre-se de nomear o arquivo "robots.txt" e não algo como Robots.txt, ROBOTS.TXT, robots.TXT ou qualquer outra variação com letras maiúsculas.

Por que um arquivo robots.txt é importante

Um Robots.txt é apenas um arquivo de texto simples, mas esse arquivo de texto "simples" é extremamente importante, pois é usado para permitir que os mecanismos de pesquisa saibam exatamente onde podem e não podem ir em seu site. É por isso que é uma parte extremamente importante do seu site.

Depois de adicionar seu novo arquivo robots.txt ao seu site ou simplesmente fazer atualizações em seu arquivo robots.txt atual, é importante testá-lo para garantir que ele esteja funcionando da maneira desejada.

Embora haja muitos sites e ferramentas diferentes que você pode usar para testar seu arquivo robots.txt, você ainda pode usar o testador de arquivos robots.txt do Google na versão antiga do Search Console. Basta fazer login no Search Console do seu site, rolar para baixo até a parte inferior da página e clicar em → Ir para a versão antiga

exemplo de console de pesquisa do Google de como instalar uma versão antiga do arquivo robots.txt

Em seguida, clique em Rastrear → testador do robots.txt

Etapa 2 do console de pesquisa do Google, ferramenta testador para arquivo robots.txtA partir daqui, você poderá testar o arquivo robots.txt do seu site adicionando o código do seu arquivo à caixa e clicando no botão "teste".

ferramenta de teste do console de pesquisa do Google para testar o arquivo robots.txt de um site

Se tudo correr bem, o botão de teste vermelho agora deve estar verde e deve ter mudado para "Permitido", uma vez que isso aconteça, significa que o seu novo arquivo robots.txt criado ou modificado é válido. Agora você pode fazer o upload do seu arquivo robots.txt no diretório raiz de seus sites.

Atualizações do Google para os padrões de arquivo robots.txt são válidos em 1º de setembro

O Google anunciou recentemente que estão ocorrendo mudanças no modo como o Google entende algumas das diretivas não suportadas em seu arquivo robots.txt.

A partir de 1º de setembro, o Google deixará de oferecer suporte a regras não suportadas e não publicadas no protocolo de exclusão de robôs. Isso significa que o Google não suportará mais arquivos robots.txt com a diretiva noindex listada no arquivo.

Se você usou a diretiva noindex no seu arquivo robots.txt no passado para controlar o rastreamento, há várias opções alternativas que você pode usar:

Noindex em metatags robots: ambas as tags são suportadas nos cabeçalhos de resposta HTTP e em HTML. No entanto, a diretiva noindex é a maneira mais eficaz de remover URLs do índice quando o rastreamento é permitido.

Códigos de status HTTP 404 e 410

Esses dois códigos de status significam que a página não existe, o que elimina todos os URLs que retornam esse código do índice do Google depois que eles são rastreados e processados.

Proteção de senha

Adicionar proteção por senha é uma ótima maneira de impedir que o Google veja e rastreie páginas no seu site ou em seu site (pensando em uma versão do site) Esconder uma página atrás de um login geralmente a removerá do índice do Google, já que eles não são capazes para preencher as informações necessárias para avançar para ver o que está por trás do login. Você pode usar a marcação de conteúdo Subscription e paywalled para esse tipo de conteúdo, mas esse é outro tópico inteiro para outro momento.

Não permitir no robots.txt

Os mecanismos de pesquisa podem indexar apenas as páginas que conhecem (podem localizar e rastrear). Portanto, bloquear o rastreamento da página ou das páginas geralmente significa que o conteúdo não será indexado. É importante lembrar que o Google ainda pode encontrar e indexar essas páginas por outras páginas com links para elas.

Ferramenta Remover URL do Search Console

A ferramenta de remoção do console de pesquisa oferece uma maneira rápida e fácil de você remover um URL temporariamente dos resultados de pesquisa do Google. Dizemos temporariamente porque essa opção só é válida por cerca de 90 dias. Depois disso, seu URL pode aparecer novamente nos resultados de pesquisa do Google.

Para tornar sua remoção permanente, você precisará seguir as etapas mencionadas acima

  • Bloquear o acesso ao conteúdo (exigindo uma senha)
  • Adicionar uma meta tag noindex
  • Criar um código de status 404 ou 410 http

Conclusão

Fazer pequenos ajustes às vezes pode ter grandes impactos nos sites SEO e usar um arquivo robots.txt é um desses ajustes que podem fazer uma diferença significativa.

Lembre-se de que seu arquivo robots.txt deve ser enviado para a raiz do seu site e deve ser chamado de "robots.txt" para que ele seja encontrado. Este pequeno arquivo de texto é obrigatório para todos os sites e adicionar um arquivo robots.txt à pasta raiz do seu site é um processo muito simples.

Espero que este artigo tenha ajudado você a aprender como adicionar um arquivo robots.txt ao seu site, além da importância de ter um. Se você quiser saber mais sobre arquivos robots.txt e ainda não o fez, leia a primeira parte desta série de artigos "Guia de práticas recomendadas do Robots.txt + exemplos".

Qual sua experiência ao criar arquivos robots.txt?

Michael McManus é Lead de Prática de Mídia de Sucesso (SEO) na iProspect.

O guia de práticas recomendadas da postagem Robots.txt, parte 2: a configuração do seu arquivo robots.txt apareceu primeiro no Mecanismo de pesquisa.




Artigos que podem interessar:

Do site do passatempo ao trabalho autônomo – experiências, dicas e ideias

Ganhar dinheiro com a compra e venda de domínios

5 razões pelas quais Halifax é um destino barato para uma ótima férias

Como Construir Delegação de Competências para Empreendedores (Mais dinheiro + tempo livre!)

55 formas de economizar dinheiro na Índia – simples, mas eficazes

AJAX, jQuery e como contornar a mesma política de origem

Como conhecer meu signo do zodíaco

Como ir viral em 10 etapas fáceis

Saiba como melhorar o seu escritório em casa