Приветствую всех. Вот хотелось бы выслушать мнение по поводу robot.txt и как она влияет на индексацию
Давайте поговорим про SEO и Robot.txt
Приветствую всех. Вот хотелось бы выслушать мнение по поводу robot.txt и как она влияет на индексацию
В ней или в нем я закрываю все папки: wp-content и т.д.
http://codex.wordpress.org/Search_Engine_Optimization_for_Wordpress
Спасибо, полезная ссылка
Если это на самом деле эффективные в плане СЕО советы то почему же их не используют многие сайты которые на WP и находятся на первых местах в гугл?
Проанализировав robot.txt у многих закрыт доступ ботам всего лишь к пару дерикториям а не как в примерах к куче сразу и все равно все прекрасно индексируется 🙂 Посмотрите хотя бы на робот.тхт данного сайта:
User-agent: *
Disallow: wp-admin/
Disallow: wp-includes/
Disallow: wp-content/
или wordpress.org:
User-agent: *
Disallow: /search
Disallow: /support/rss
Уважаемая Соника у вас самой на сайте
User-agent: *
Disallow: /trash
Так что же это значит?? Что и не стоит в целях СЕО использовать Robot.txt что бы не навредить сайту??
Вы же не думаете, что robots.txt — это волшебный файл, который выведет Вас в ТОП? 🙂
Закрывают директории или файлы от индексирования по разным причинам.
Не хочу, чтобы индексировалось содержимое этой папки.
Почитайте тут что ли:
Хотелось выяснить всего лишь самое наполнения этого файла для WP. Раньше использовал джумлу так там этот файл был уже заточен под джумлу.