Если вам уже приходилось работать с веб-сайтами и их оптимизацией, то вы скорее всего знакомы с волшебным файлом robots.txt, который лежит в корне вашего сайта. Для новичков поясню: с помощью текстового файла robots.txt вы можете указать поисковым роботам, какие разделы и страницы вашего сайта им следует индексировать, а какие нет. Прошу заметить, что с помощью файла robots.txt вы не управляете поисковыми роботами, а лишь указываете им на что стоит обратить внимание на вашем сайте, а что пропустить. Запрет на индексирование определенных разделов вашего сайта может служить, к примеру, для избежания дублей страниц и информации на них, которые не любят поисковые системы. В случае с WordPress, вы можете заметить, что одна и та же информация появляется в разделе меток, в рубриках, на главной странице и ее подстраницах, и непосредственно в самой статье. Для лучшей поисковой оптимизации вашего WordPress-сайта, такие ситуаций следует избегать.
К сожалению, автоматическое создание оптимального файла robots.txt до сих пор не предусмотрено движком WordPress. А новичкам о его существовании может быть вообще не известно. К счастью, ситуация эта поправима, команды robots.txt очень просты, а создание такого файла займет у вас несколько секунд. Вот пример оптимального на мой взгляд файла robots.txt, который следует использовать для движка WordPress:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Host: cms-wordpress.ru
Sitemap: http://cms-wordpress.ru/sitemap.xml
Sitemap: http://cms-wordpress.ru/sitemap.xml.gz
User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /*?*
Disallow: /*?
Теперь немного поясню. Первый блок команд относится ко всем поисковикам, второй же, который начинается после фразы “User-agent: Yandex”, исключитально для Яндекса. Далее следует список подпапок вашего сайта, с командой Disallow, которая запрещает поисковику индексировать ее. Возможно вы хотите, чтобы поисковой робот увидел и проиндексировал комментарии на вашем сайте, тогда просто удалите команды “Disallow: /comments/” и “Disallow: */comments/” для обоих поисковиков.
Обратите внимание на команды “Disallow: /*?*” и “Disallow: /*?”. Если на вашем сайте не используются ЧПУ, и адреса страниц задаются с вопросительным знаком, то удалите их!
Далее, в команде “Sitemap:” укажите адрес вашей XML карты сайта, и ее заархивированной версии. Как создать карту сайта для WordPress мы уже писали здесь.
Если у вашего сайта есть зеркала, то специальный поисковой робот определит их, и обозначит главное зеркало. Вы можете ему помочь в этом, с помощью команды “Host:”. Здесь, сразу после команд Disallow вы указываете главное зеркало для вашего сайта. Как пишет Яндекс, эта директива может и не учитываться роботом, но все же играет роль при составлении списка зеркал вашего сайта.
Теперь сохраните этот файл с именем robots.txt и залейте в корень вашего WordPress-сайта.
Рекомендую также следующие статьи:
Буду очень благодарен, если поделитесь этой статьей:
Pingback: Запущен вьетнамский поисковик Wada.vn | Wordpress inside