A maioria dos blogueiros experientes certamente sabe o que é o robots.txt e por que você precisa desse arquivo. Mas poucos autores se apressam imediatamente para criar um arquivo robots.txt após instalar um blog no WordPress.
Robots.txt é um arquivo de texto carregado no diretório raiz do seu site e contém instruções para rastreadores. O principal objetivo de seu uso é proibir a indexação de páginas e seções individuais do site. No entanto, usando o robots.txt, você também pode especificar o espelho de domínio correto, prescrever o caminho para o mapa do site e assim por diante.
A maioria dos mecanismos de pesquisa modernos aprendeu a navegar bem no CMS popular e, geralmente, não tenta indexar conteúdo que não se destina a isso. Por exemplo, o Google não indexará a área de administração do seu blog WordPress, mesmo que você não especifique diretamente em robots.txt. No entanto, em alguns casos, o uso de banimentos diretos ainda pode ser útil. E estamos falando principalmente sobre a proibição de conteúdo duplicado.
Alguns webmasters chegam a proibir a indexação de páginas de categorias e tags, uma vez que seu conteúdo duplica parcialmente o conteúdo da página principal. Mas a maioria se limita a proibir trackbacks e páginas de feed, que duplicam completamente o conteúdo do artigo e não se destinam a mecanismos de pesquisa. Tal precaução não só tornará os resultados do site "mais limpos", mas também salvará você de possíveis filtros de pesquisa, especialmente após a introdução do novo algoritmo do Google Panda.
Aqui estão as diretivas recomendadas para um arquivo robots.txt (ele funcionará com quase todos os blogs do WordPress):
User-Agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Observe que no arquivo robots.txt as pastas administrativas wp-admin e wp-includes estão completamente fechadas para indexação. A pasta wp-content está apenas parcialmente fechada, pois contém o diretório de uploads, que contém todas as imagens do seu blog que devem ser indexadas.
Tudo o que você precisa fazer é copiar as diretivas do código acima (observe que cada diretiva deve ser escrita em uma nova linha), salvá-las em um arquivo de texto chamado robots.txt e carregá-las no diretório raiz do seu site.
Você sempre pode verificar se o robots.txt está funcionando corretamente por meio das Ferramentas do Google para webmasters e das interfaces do Yandex para webmasters.
