самостоятельная генерация robots.txt

Здравствуйте уважаемые форумчане.
Очень нужен Ваш совет.
Пару дней назад – сломал голову, совсем…
Дело в том что опять при анализе сайта в be1.ru – выдает Проблемы со связью с анализируемым сервером…

В ответ на запрос служба поддержки хостинга ответила следующее

Я открываю сайт и robots.txt при помощи консольного wget:
194.29.185.80 – – [06/Feb/2009:06:00:06 -0600] "GET / HTTP/1.0" 200 45648 "-" "Wget/1.11.3"
194.29.185.80 – – [06/Feb/2009:06:00:44 -0600] "GET /robots.txt HTTP/1.0" 200 50 "-" "Wget/1.11.3"

Тут же открываю анализатором 1be:
87.242.74.224 – – [06/Feb/2009:06:02:28 -0600] "GET / HTTP/1.0" 302 – "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"
87.242.74.224 – – [06/Feb/2009:06:02:30 -0600] "GET /robots.txt HTTP/1.0" 200 50 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"

Тут же подставляю строку агента и забираю траницу при помощи wget:
194.29.185.80 – – [06/Feb/2009:06:22:55 -0600] "GET / HTTP/1.0" 200 45648 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)"

Т.е. блог вместо 200 отвечает анализатору 302.

Ваш сайт опять занимается самостоятельной генерацией robots.txt что наверняка отшибает be1.ru ( он запрашивает контент robots.txt )
Проверялось переименованием имеющегося у Вас robots.txt

Проверьте пожалуйста опять все имеющиеся у Вас плагины

не было ли у кого подобной проблемы??? какой плагин может так косячить?
Одно врем так косячил wp-pagenavi – при выведении его на главной странице
После того как я перестал его выводить на главной глюк исчез.

А сейчас вновь появился. Я устанавливал плагины – a2p-sapelinks-0.5, maxsite-sape_aotd_mod, WordPress Database Backup – после чего так все и произошло.

WordPress Database Backup – удалил, изменений нет, maxsite-sape – тоже.

A2P SAPELinks – не должен так косячить, на всех остальных сайтах все ок ведь.

Темы менял – ставил разные и даже Default, все одно ничего не меняется!

Что делать – перерыл уже в принципе все, просто так сносить A2P SAPELinks – не могу – сайт доходный. С уважением Александр.

p.s. на сколько это вобще критично – такой косяк? просто сегодня яндекс показал мне на 50 страниц меньше, чем было до этого, хотя писались новые статьи и по идее должно было бы если не больше, то хотя бы столько же.

Т.е. блог вместо 200 отвечает анализатору 302.

Если файл robots.txt существует как таковой и .htaccess сделан по рекомендациям WordPress, а не собран по блогам из обрывков бредовых мыслей, то блог за него не отвечает, отвечает Апач.

сайт доходный

Это хорошо. Значит сможете оплатить услуги консультантов. 😀

Добрый вечер, если бы могли бы меня проконсультировать, я с удовольствием оплатил бы Ваше время.

С robots.txt, .htaccess увы проблемы, перепробовал все что только можно, но сам не понимаю что сделать.

Как с Вами связаться?
мои icq 382-481-704, 322-665-441
С Уважение Александр.

Не связывайтесь со мой – это вредно для здоровья. 🙂
Лучше дайте адрес сайта и покажите .htaccess.

Сайт ezoterix.ru

При проверке в be1.ru/services/stat/ выдает "проблемы со связью с анализируемым сервером … "

В данный момент в htaccess забито

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

В данный момент в robots.txt забито

# custom file
User-agent: Yandex
Disallow:
Host: www.ezoterix.ru

User-agent: *
Disallow:

рекламу от бегуна убрал вчера

Заранее большое спасибо.

У Вас одна проблема: Вы считаете домены ezoterix.ru и www.ezoterix.ru одним, а все остальные, включая WordPress, – разными. Вы определитесь, на каком домене Ваш сайт, и везде пишите одно и то же. А проблемы be1.ru – оно Вам надо? 🙂

Сайт отдается вполне пристойно http://tools.pingdom.com/fpt/?url=ezoterix.ru&treeview=0&column=objectID&order=1&type=0&save=true
если не считать двух несуществующих картинок.

Спасибо большое
А как будет более правильно написан robots.txt ?

# custom file
User-agent: Yandex
Disallow:
Host: ezoterix.ru

User-agent: *
Disallow:

или

User-Agent: *
Host: ezoterix.ru
Disallow: /?

Значит на be1.ru в данном случае можно смело не обращать внимание?
Я заменил свой robots.txt на второй вариант и убрал www

Спасибо большое за ссылку на такой прекрасный сервис.

В htaccess убрал строки

# BEGIN WordPress
# END WordPress

Про правильный robots.txt поищите по форуму, этого добра тут валом 🙂

Спасибо Большое 🙂

Anonymous
Отправить
Ответ на: