Esse é um arquivo utilizado pelos rastreadores do Google e de outras ferramentas de busca para saber quais páginas ele deve ver e quais ele não deve ser em seu blog.
Isso significa que você pode utilizar o robots.txt para indicar as páginas que você não quer que sejam mostradas nos resultados do Google, seja para evitar texto duplicado ou para não divulgar alguma informação importante.
Introdução
Este é um artigo um pouco mais técnico que os outros que escrevi nesta série.
Também trata-se de um recurso que deve ser utilizado com extremo cuidado, pois ele pode fazer com que todas as páginas do seu blog desapareçam dos resultados da busca do Google – o que seria desastroso.
Como nos demais artigos, é importante que você entenda os conceitos envolvidos antes de fazer a configuração do recurso em seu blog.
No artigo Como Aparecer no Google?, eu expliquei como o Google indexa e “armazena” as páginas que ele pode exibir em seus resultados de buscas.
Em linhas gerais, se ele chegar até o seu blog, ele será capaz de ler todas as suas páginas e mostrá-las nos resultados. Mas, ele não funciona assim.
O arquivo robots.txt é muito importante para o Google e outras ferramentas de busca.
Nele, o dono de um blog ou site pode indicar quais são as páginas que devem ser mostradas nos resultados das buscas e quais não devem.
Por isso, primeiro o Google lê o seu arquivo robots.txt para só depois analisar as suas páginas.
Uma informação importante é que seu blog no Blogger sempre teve um arquivo robots.txt.
Para você conhecê-lo, basta acessar o endereço do seu blog acrescido de “/robots.txt” no final.
Por exemplo, o meu arquivo está em https://www.gerenciandoblog.com.br/robots.txt.
Veja o conteúdo dele:
User-agent: Mediapartners-Google Disallow: User-agent: * Disallow: /search Allow: / Sitemap: https://www.gerenciandoblog.com.br/feeds/posts/default?orderby=updated
O conteúdo do arquivo pode ser um pouco diferente de blog para blog caso as opções de “Privacidade” do blog estejam definidas para que ele não esteja visível para os mecanismos de buscas.
Até agora, não tínhamos acesso para modificar diretamente esse arquivo.
É isso o que o Blogger passou a permitir.
O conteúdo do arquivo robots.txt
Dentro do arquivo robots.txt, há apenas 4 tipos diferentes de instruções que podem existir:
- User-agent: Identifica para qual mecanismo de rastreamento serão dadas as próximas instruções. No exemplo acima, do meu arquivo, o único mecanismo identificado é o “Mediapartners-Google”. Quando ele está como “*”, isso significa que as próximas instruções valerão para todos os rastreadores.
- Disallow: Informa quais páginas não devem ser analisadas pelos rastreadores. No exemplo, todas as páginas que começarem com https://www.gerenciandoblog.com.br/search não serão rastreadas.
- Allow: Informa quais páginas devem ser analisadas pelos rastreadores. O símbolo “/” identifica que todas as demais páginas serão analisadas.
- Sitemap: Mostra a localização do sitemap do seu blog, importante para que os rastreadores encontrem os novos artigos do seu blog. Falei sobre o assunto no artigo Google Webmasters: Sitemap.
Interpretando o meu arquivo original, criado pelo Blogger, a conclusão é que o rastreador “Mediapartners-Google” verá todas as minhas páginas.
Trata-se do rastreador do Google AdSense, responsável por analisar as páginas dos sites determinar que anúncios serão exibidos.
Todos os demais rastreadores verão todas as minhas páginas, com exceção das páginas de “buscas”.
Na verdade, tratam-se das páginas de Categorias (por exemplo,
https://www.gerenciandoblog.com.br/search/label/Blogger) e de artigos por data (como https://www.gerenciandoblog.com.br/search?updated-max=2012-03-08T09:00:00-03:00&max-results=9).
Por que o Blogger faz isso?
Para evitar que o texto de um artigo seja lido pelo Google em mais de um endereço diferente.
Isso faria com que seu blog ficasse com conteúdo duplicado, algo que o Google odeia.
Assim, neste caso as restrições no robots.txt servem como proteção para evitar que você tenha problemas com o Google.
Vale a pena personalizar o arquivo robots.txt?
Só vale a pena fazer a personalização se você souber exatamente o que está fazendo.
O arquivo robots.txt é bastante sensível e, como citei no início do artigo, uma má configuração pode remover todo o seu conteúdo do Google.
A única alteração que considerei conveniente fazer (e que está fase de testes no Gerenciando Blog) foi para remover do Google as visualizações dinâmicas.
Como o endereço de todas elas começa com “/view”, adicionei essa restrição justamente para evitar o conteúdo duplicado.
O recurso também será útil se existem páginas em seu blog que você não quer deixar disponíveis para aparecer nos resultados da busca.
Pode ser uma página com conteúdo pessoal ou outras informações que você queira que fiquem restritas.
Como fazer a personalização do arquivo robots.txt
Mais uma vez, o alerta: tome o máximo cuidado ao fazer esta alteração.
Sugiro que você leia e entenda o restante deste artigo para poder tomar sua decisão.
Isso dito, vamos ao procedimento:
1. Acesse http://www.blogger.com e entre com seu usuário e senha.
2. Clique no nome do seu blog.
3. Acesse a área “Configurações” / “Preferências de pesquisa”.
4. Clique na opção “Editar” ao lado de “robots.txt personalizado”.
5. Escolha a opção “Sim” para fazer a alteração.
6. Será aberta uma caixa vazia, onde você deve colocar o conteúdo completo de seu novo robots.txt.
Para facilitar o trabalho, minha sugestão é que você acesse e copie o conteúdo do seu arquivo atual e cole na caixa, para só editar o que deseja alterar.
Ao terminar, clique em “Salvar alterações”.
7. Para confirmar que a alteração foi bem sucedida, acesse novamente seu arquivo robots.txt.
Ele já deve aparecer alterado.
Conclusão
Imagino que este seja um dos novos recursos de SEO no Blogger que será pouco utilizado.
Diferente dos recursos que apresentei anteriormente, que têm utilidade comprovada para a maioria dos blogs, personalizar o arquivo robots.txt será realmente útil para poucos.
Se você for um deles, o artigo o ajudará a entender melhor a necessidade e a configurá-la.
E você, o que achou desta novidade?
Pretende aplicá-la em seu blog? Deixe um comentário!
