Создала файл robots.txt.
Проверила на этом сервисе: http://www.sxw.org.uk/computing/robots/check.html
Сервис нашел ошибки:
Warning at line number 10:
Disallow: /comments
Spaces in path. Giving a whitespace seperated list of paths is not widely supported. Instead of writing Disallow: /a /b you should use two lines
--------------------------------------------------------------------------------
Warning at line number 11:
Disallow: */trackback
Paths should be absolute. A number of robots require that the path in a Disallow directive should be absolute. For example with the URL http://example.org/blah the Disallow line should read Disallow: /blah
--------------------------------------------------------------------------------
Warning at line number 11:
Disallow: */trackback
Wildcards aren't supported. Wildcards such as '*', '.' and '?' aren't supported. For example instead of writing Disallow: /foo.* you should just write Disallow: /foo
--------------------------------------------------------------------------------
Warning at line number 12:
Disallow: */feed
Paths should be absolute. A number of robots require that the path in a Disallow directive should be absolute. For example with the URL http://example.org/blah the Disallow line should read Disallow: /blah
--------------------------------------------------------------------------------
Warning at line number 12:
Disallow: */feed
Wildcards aren't supported. Wildcards such as '*', '.' and '?' aren't supported. For example instead of writing Disallow: /foo.* you should just write Disallow: /foo
--------------------------------------------------------------------------------
Warning at line number 13:
Disallow: */comments.php
Paths should be absolute. A number of robots require that the path in a Disallow directive should be absolute. For example with the URL http://example.org/blah the Disallow line should read Disallow: /blah
--------------------------------------------------------------------------------
Warning at line number 13:
Disallow: */comments.php
Wildcards aren't supported. Wildcards such as '*', '.' and '?' aren't supported. For example instead of writing Disallow: /foo.* you should just write Disallow: /foo
--------------------------------------------------------------------------------
Warning at line number 14:
Disallow: /*?*
Wildcards aren't supported. Wildcards such as '*', '.' and '?' aren't supported. For example instead of writing Disallow: /foo.* you should just write Disallow: /foo
--------------------------------------------------------------------------------
Warning at line number 15:
Disallow: /*?
Wildcards aren't supported. Wildcards such as '*', '.' and '?' aren't supported. For example instead of writing Disallow: /foo.* you should just write Disallow: /foo
--------------------------------------------------------------------------------Warning at Warning at line number 21:
Sitemap: http://stranasovetov.biz/sitemap.xml
Unrecognised field. The field Sitemap: http could not be recognised. Whilst the robots.txt standard allows for expansion by the use of undefined fields, it is likely that this line is a mistake in your file
Теперь никак не могу разобраться, как их исправить.
Английский знаю слабо, а при машинном переводе получается такая ересь,
которую никак не разобрать.
Люди, подскажите, пожалуйста, как отредактировать этот файл?
Вот он:
1. User-agent: *
2. Disallow: /cgi-bin/
3. Disallow: /wp-admin/
4. Disallow: /wp-includes/
5. Disallow: /wp-content/plugins/
6. Disallow: /wp-content/cache/
7. Disallow: /wp-content/themes/
8. Disallow: /trackback
9. Disallow: /feed
10. Disallow: /comments
11. Disallow: */trackback
12. Disallow: */feed
13. Disallow: */comments.php
14. Disallow: /*?*
15. Disallow: /*?
16. Disallow: /page.php
17. Disallow: /author.php
18. Disallow: /category.php
21. Sitemap: http://my site/sitemap.xml
А у тебя в robots.txt так и пронумеровано? Первый раз вижу что бы нумерацию ставили в robots
а что значат конструкции типа
14. Disallow: /*?*
15. Disallow: /*?
? вы хотите весь сайт запретить к индексации? ну так это проще делается.
Disallow: /*?* означает запрет индексировать урлы, в которых есть знак вопроса в любом месте. непонятно другое, зачем 2 раза повторять, это одно и то же:
Disallow: /*?*
Disallow: /*?
Особенно если учесть, что в каноне вообще нет регулярных выражений для урлов 🙂
А у яндекса есть:
http://help.yandex.ru/webmaster/?id=996567#996572
Ну вот, пошла свободная дискуссия.
А как это исправить, кто нибуть скажет?
никаких ошибок в нем нет, вы бы лучше документацию по robots.txt почитали
и вообще его можно подсократить:
еще больше:
Disallow: /wp-*
За подсказку спасибо.
По поводу документации – вы думаете я ее не читала?
У меня на компе целая папка о robots.txt.
Но там все больше теория, а как ее применить не всегда понятно. Вот попыталась применить теорию – сделала файл, а сервис нашел в нем ошибки.
Боже мой, целая папка! Там документации на три абзаца, по одному на каждую из двух директив и один на описание комментария. 🙂
Сервис ругается потому, что использование * стандартом допускается только в User-agent. Звездочки и доллары в Disallow – это специфические расширения, в стандарте не предусмотренные. Как, кстати, и директива host имени товарища Яндекса.