Посмотрела рекомендованный robots.txt в кодексе:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/
Отсюда вопросы к знатокам SEO и wordpress:
1. Почему все эти строки не заменить одной: Disallow: /wp-* ?
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
2. Что именно запрещают эти директивы?
Disallow: /trackback/
Disallow: */trackback/
Disallow: /*?*
Disallow: /*?
Disallow: /?
Я на своих сайтах не нашла ни одной страницы, в URL’е которой есть слово "trackback" или "?".
3. Почему в robots.txt должно быть два варианта URL’ов с feed?
Disallow: /feed/
Disallow: */feed/
4. То же самое, касательно этих директив:
Disallow: /comments/
Disallow: */comments/
Какие страницы они запрещают?
Явно не отдельные комментарии. Комментарии имеют в URL’ах окончание #comment-5178.
Почему нужны два варианта этих страниц?
Или в robots.txt обычно указывают все возможные варианты, не заморачиваясь тем, есть ли они на сайте или нет?
Буду очень благодарна, если кто то знает ответы на эти вопросы и поможет мне разобраться.
Хороший вопрос, если кто расскажет – плюс ему в карму.
А я запишусь, пожалуй, в слушатели.
Никто не знает ответа :(?
Печалька …