Я с этим загадочным файлом сталкиваюсь уже не в первый раз. :/ Сначала, когда решал проблему с написанием своего сайта в адресной строке, будет ли присутствовать перед доменным именем WWW? Оказалось, что все дело в настройках WP, и настройки эти заключены в файле robots.txt. Сегодня новость еще получше: запустил прогон анализатором сайтов http://www.be1.ru/stat/ и вот, что он мне выдал:
Файл robots.txt недоступен: сервер вернул ошибку.
robots.txt по яндексу,
Ну и Яндекс тут же предлагает мне скачать его с сайта. Прежде, чем что-либо скачивать, хотелось бы разобраться: что это значит? 🙁
Файл robots.txt
Матчасть:
http://robotstxt.ru/
http://ru.wikipedia.org/wiki/Robots.txt
http://codex.wordpress.org/Search_Engine_Optimization_for_WordPress#Robots.txt_Optimization
изучил ссылки, зашел через FTP-клиент на сервер и, естественно, в корневой папке файл robots.txt не обнаружил, я без него мой сайт с поисковыми системами не будет взаимодействавать никак. Сделал прогон по другому анализатору http://1morda.ru/, который также ругается на отсутствие robots.txt, и кроме того пишет • Не работает ЧПУ. Зайдите по фтп и проверьте наличие файла .htaccess с прописанными правилами в папке вашего домена. С помощью стандартного поиска удостоверился, что в загруженной на сервер сборке WP от Лекактуса файла robots.txt не было изначально. Что это? Брак товарища Лекактуса, или предположение, что я конструируя первый сайт в жизни впишу этот файл в движок своими руками?
Благодарен Ю.Б. за набор ссылок, узнал много нового. Перезакачивать на сервер "официальную" версию WP? Возможно, в ней будет порядок с robots.txt и .htaccess? Отнеситесь к возникшей проблеме не формально, плиз…
только что прочел Блокнотом .htaccess. Вот, что увидел: DirectoryIndex index.php index.php3 index.html index.htm index.shtml
Так задумано? Говорят, у .htaccess много различных возможностей, которые, при знании дела желательно прописывать самостоятельно с пользой для WordPress.
Вам еще там много предстоит узнать… 😉
Создайте "дома" robots.txt и залейте на сервер.
Да, уже. Нашелся удобный генератор http://100mbps.ru/seo-genrobots/
который и решил проблему. Я только не понимаю, почему Вы, будучи специалистом по WP не посоветовали вместо громадного и корявого сгенерированного файла robots.txt просто вписать в Блокнот:
User-agent: *
Allow: /
Host: lalechka.ru
User-agent: Yandex
Host: lalechka.ru
Это менталитет "старшего товарища", я ведь на Форуме сочувственного отношения ищу
Приведённый Вами пример конфигурации файла на мой взгляд не совсем корректен с точки зрения поисковой оптимизации, т.к постраничную навигацию, навигацию по комментариям, Архивы, Теги, поиск по сайту лучше всего закрыть от индексации в robots.txt:
Disallow: */comments*
Disallow: /search
Disallow: /?s=*
Disallow: /author/*
Disallow: /tag/*
Disallow: /trackback
Disallow: /20*/*
Disallow: /page/*
Disallow: /comment-page*
Disallow: /*?replytocom*
об этом написано в первой ссылке (в общих словах), которую Вам дал уважаемый Ю.Б. )
А не в общих — в последней, на сайте разработчиков WP. Достаточно просто скопировать-вставить.
Но видимо менталитет «младшего товарища» думает иначе.
Во-первых, кормить пережеванным и переваренным – не мой путь.
Во-вторых, содержание robots.txt – предмет холивара SEOнистов, а ввязываться в войну на чужом поле я не хочу.