John Mueller, do Google, respondeu a uma pergunta no Reddit sobre uma tag de robôs amplamente utilizada e o que aconteceria se ela estivesse ausente. A resposta de Mueller, embora lógica e comprovada, pode surpreender muitos editores e especialistas em SEO.
Meta tag de robôs é um código HTML utilizado para instruir os robôs de busca sobre como eles devem rastrear e indexar um determinado site.
O elemento meta HTML transmite metadados, que são informações legíveis por máquinas e podem ser lidas por rastreadores como o Googlebot.
Existem vários tipos de elementos meta, como por exemplo o elemento meta descrição, no entanto, o Robots Meta Element é único, pois tem a capacidade de controlar os rastreadores dos motores de busca.
A diretriz presente na meta tag robots é uma informação comunicada, indicando que os rastreadores de robots devem seguir as instruções contidas nela.
Existem várias formas de navegar pelos meta-robôs, mas a seguinte meta tag é uma que é pertinente à pergunta que John Mueller respondeu.
A meta tag “noindex” não é seguida.
A meta tag mencionada instrui os rastreadores dos mecanismos de busca a não incluir o conteúdo da página web em seus índices e a não seguir nenhum link presente.
Uma das metatags mais frequentes é essa, que instrui os motores de busca a indexar o conteúdo e percorrer todos os links.
Embora a meta tag mencionada seja bastante comum, existe uma grande confusão em relação a ela. Algumas pessoas acreditam que, porque o Google suporta o atributo “nofollow”, isso significa que o Google também apoia a diretiva seguinte.
Encontrei diversos sites confiáveis que afirmam que o Google utiliza um metaíndice de robôs, seguindo a meta tag.
No entanto, de acordo com a resposta de John Mueller, isso não é realmente como o Google utiliza essas diretrizes.
Outro recurso interessante é o Google Respostas. Será que as Meta Robots Tags têm impacto no posicionamento nos resultados de busca?
Qual impacto tem a exclusão da meta tag de indexação para os robôs?
No Reddit, alguém fez uma pergunta.
“Estou com algumas dúvidas em relação a um site no qual estou envolvido.”
Assim, é dessa forma que a maioria dos trechos de meta nos sites em que trabalho costumam aparecer:
O texto diz que há uma tag meta com a propriedade “robots” e o conteúdo “index, seguir”.
No entanto, a tag ‘index’ está ausente no site.
Gostaria de saber qual é o impacto de o site não possuir a tag ‘index’.
John Mueller deu uma resposta:
A tag “index” não tem qualquer utilidade (pelo menos no Google) – é completamente ignorada. O mesmo acontece com a tag “follow”.
O Google disponibiliza documentações sobre as meta tags e suas funções nos links https://developers.google.com/search/docs/crawling-indexing/special-tags e https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag. É possível utilizar outras meta tags, porém elas serão ignoradas. Uma opção é usar a meta tag para restringir o acesso de pessoas.
Por que o Google não leva em consideração o arquivo de exclusão de robôs e continua rastreando os sites?
O motivo pelo qual o Google não considera o índice de robôs e segue a meta tag é porque seguir e indexar são as práticas padrão.
Os robôs dos mecanismos de busca têm como objetivo indexar e seguir links automaticamente, sem a necessidade de serem instruídos a fazê-lo. Isso é parte do seu funcionamento padrão.
De acordo com a documentação do Google sobre etiquetas de robôs, é recomendado:
Os valores por padrão são índice, seguir e não é necessário mencioná-los.
Aqui está a lista completa de diretrizes válidas para o Google.
Se os robôs que você deseja utilizar não estiverem mencionados na lista, o Googlebot não irá considerá-los.
Tópico relacionado: Como gerenciar a interação do Googlebot com seu site.
Será que o índice é realmente inútil?
É fato, comprovado e oficial que quando se refere ao Googlebot, a utilização de no código HTML é inútil e não é levada em consideração pelo Googlebot.
O Bing lida com o índice de maneira semelhante, porém com uma discreta variação, como explicado na documentação oficial do Bing sobre meta tags.
De acordo com a documentação do Bing, a diretiva de índice é explicada da seguinte forma:
Normalmente, nós assumimos que a página deve ser indexada, mas se necessário, você pode utilizar a tag para deixar explicitamente declarado que a página pode ser indexada.
E a seguinte diretiva afirma isso.
Normalmente, presumimos que você deseja seguir, mas você pode especificamente optar por seguir, se preferir.
Ao longo dos meus 20 anos de experiência em SEO, onde me dediquei a criar e otimizar sites para obter melhores rankings, sempre segui a abordagem de fornecer aos bots o que eles esperam e evitar qualquer surpresa. Dessa forma, se considerar que uma meta descrição não é necessária, minha tendência seria excluí-la, pois o objetivo da otimização é facilitar a indexação e compreensão do conteúdo pelos motores de busca, eliminando qualquer elemento que possa prejudicar esse objetivo.
Neste caso, é muito improvável que tenha qualquer tipo de impacto.
No entanto, existe uma alternativa para acompanhar e catalogar as pessoas.
Alguns editores fazem uso desta etiqueta de meta: “robots”.
Alguns sites recomendam que, caso a página não esteja sendo indexada, o uso da diretiva “follow” faz com que o mecanismo de busca siga os links.
No entanto, essa afirmação não é precisa se houver uma instrução “noindex”. Isso ocorre porque o Google não consegue rastrear um link em uma página que não está indexada. Portanto, se a página não estiver no índice, os links contidos nela também não estarão no índice.
Leia: Dicas para fazer com que o Google indexe seu site de forma mais rápida.
A imagem principal foi fornecida pela Shutterstock/Bangun Stock Productions.