В индексе гугла вчера появились страницы которые закрыты от индексации в robots.txt.
Страници вида:
site.ru /2012/07/13
site.ru/author/admin/feed
site.ru/tag/categor/feed
И все страници сайта с окончанием /feed
site.ru/avto/naruzhnyj-ili-vneshnij-tuning.html/feed
в robots.txt прописаны такие вот строки:
Disallow: /author/
Disallow: /20*
Disallow: /tag
Disallow: /?feed=
Disallow: /*feed
Disallow: */feed
Disallow: /feed
Disallow: /rss
Disallow: */rss
Плюс под всеми страницами написано вместо description:
- Translate this page
A description for this result is not available because of this site's robots.txt – learn more.
Почему же страницы появились в индексе и как их убрать?