John Mueller, funcionário do Google, abordou uma questão no LinkedIn sobre a utilização de uma instrução noindex não suportada no arquivo robôs.txt de seu próprio site pessoal. Ele analisou as vantagens e desvantagens do suporte dos motores de busca a essa instrução e compartilhou informações sobre as conversas internas no Google a respeito do assunto.
“John Mueller’s Robots.txt file”
Os robôs descritos em Mueller.txt têm sido discutidos nos últimos dias devido às diretrizes peculiares e não convencionais que ele utiliza.
Era praticamente certo que os robôs do arquivo Mueller.txt seriam analisados e se tornariam populares na comunidade de marketing de busca.
Instrução sobre como calcular o índice.
Todas as informações contidas no arquivo robots.txt são referidas como diretivas. Uma diretiva é uma instrução para um rastreador da web que deve ser seguida (caso o rastreador respeite as diretrizes do robots.txt).
Existem normas a serem seguidas na redação de um robô, e a diretiva txt é fundamental nesse processo. Qualquer elemento fora dessas regras provavelmente será ignorado. Recentemente, um usuário questionou a aceitação de uma diretiva não padrão nos robôs do Google para John Mueller por meio do LinkedIn.
É compreensível questionar isso, já que é natural pensar que se um funcionário do Google está utilizando o produto, então provavelmente o Google o endossa.
A diretriz não convencional era noindex. Noindex é uma parte do padrão de meta robôs, mas não do arquivo robots.txt. Mueller não possuía apenas uma ocorrência da diretriz noindex, mas sim 5.506 diretrizes noindex.
O profissional de otimização de mecanismos de busca que fez a pergunta, Mahek Giri, redigiu:
Nos arquivos de texto dos robôs de John Mueller.
existe uma instrução peculiar:
O texto não contém informações suficientes para ser parafraseado. Poderia fornecer mais contexto ou detalhes para que eu possa ajudar melhor?
Este comando não está incluído nos robôs padrão. É um arquivo de formato txt.
Você acredita que isso terá alguma influência na forma como o mecanismo de busca classifica suas páginas?
John Mueller está curioso para saber mais sobre a utilização do noindex em arquivo robots.txt.
Por que o Google não oferece suporte à diretiva Noindex em Robots.txt.
John Mueller do Google afirmou que não recebeu suporte.
Mueller deu uma resposta:
Essa instrução não é compatível e não tem efeito.
Mueller explicou que o Google havia considerado apoiar a diretiva noindex do arquivo robots.txt, pois isso permitiria aos editores bloquearem o Google de rastrear e indexar seus conteúdos simultaneamente.
Atualmente, é viável impedir que os robôs rastreiem usando o arquivo robots.txt ou bloquear a indexação ao utilizar a diretiva meta robots com a opção noindex. No entanto, não é possível combinar a diretiva meta robots para bloquear a indexação e o bloqueio do rastreamento no robots.txt ao mesmo tempo, pois o bloqueio no rastreamento impedirá que o rastreador visualize a diretiva meta robots.
Mueller explicou o motivo pelo qual o Google optou por não prosseguir com a proposta de implementar a diretiva noindex nos arquivos de robôs.
Ele fez uma redação.
Existem debates em andamento sobre a inclusão do suporte para “noindex” no arquivo robots.txt. Alguns argumentam que seria benéfico para impedir tanto o rastreamento quanto a indexação ao mesmo tempo. Com esta adição, seria possível bloquear o rastreamento ou a indexação, e até mesmo ambos, usando o robots.txt juntamente com uma meta tag de robôs, se desejado. A proposta é permitir a inclusão do “noindex” no robots.txt para bloquear ambas as ações.
Infelizmente, devido ao fato de que muitas pessoas simplesmente copiam e colam arquivos de texto de robôs sem examiná-los cuidadosamente (assim como você fez), seria extremamente simples para alguém excluir acidentalmente partes críticas de um site. Por esse motivo, foi decidido há mais de 10 anos que isso não deveria ser uma prática recomendada ou parte dos padrões de arquivos de texto de robôs.
Por que ocorreu essa complicação no documento “Robôs de Mueller.txt”?
Mueller enfatizou que é pouco provável que o Google tenha respaldado essa etiqueta e que isso foi confirmado cerca de uma década atrás. A divulgação dessas conversas internas é intrigante, porém aumenta a sensação de mistério em relação aos robôs de Mueller.
Confira também: 8 perguntas frequentes sobre o arquivo Robots.txt e suas soluções.
A imagem principal é fornecida pela Shutterstock, cortesia de Kues.