Что на самом деле запрещает robots.txt ?

Посмотрела рекомендованный robots.txt в кодексе:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /category/*/*
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /*?
Allow: /wp-content/uploads/

Отсюда вопросы к знатокам SEO и wordpress:

1. Почему все эти строки не заменить одной: Disallow: /wp-* ?

Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

2. Что именно запрещают эти директивы?

Disallow: /trackback/
Disallow: */trackback/

Disallow: /*?*
Disallow: /*?
Disallow: /?

Я на своих сайтах не нашла ни одной страницы, в URL’е которой есть слово "trackback" или "?".

3. Почему в robots.txt должно быть два варианта URL’ов с feed?

Disallow: /feed/
Disallow: */feed/

4. То же самое, касательно этих директив:

Disallow: /comments/
Disallow: */comments/

Какие страницы они запрещают?

Явно не отдельные комментарии. Комментарии имеют в URL’ах окончание #comment-5178.

Почему нужны два варианта этих страниц?

Или в robots.txt обычно указывают все возможные варианты, не заморачиваясь тем, есть ли они на сайте или нет?

Буду очень благодарна, если кто то знает ответы на эти вопросы и поможет мне разобраться.

Хороший вопрос, если кто расскажет – плюс ему в карму.
А я запишусь, пожалуй, в слушатели.

Никто не знает ответа :(?

Печалька …

Anonymous
Отправить
Ответ на: