Как я уже неоднократно говорил, всякой вебмастерской мутью я никогда не интересовался. Ну неинтересна мне всякая хуита навроде веса ссылки, приставки www, блогуна и прочей мутной шняги. Неинтересна и все тут. Но об одной особенности я все же расскажу.
Собственно говоря, из-за этой особенности поисковики в моем понимании делятся на хороших и хуёвых. А особенность состоит в том, что некоторые поисковые боты имеют свойство набигать на индексируемые сайты. Причем набигать очень активно.
Взять хотя бы Yahoo! Slurp. Мне сейчас лень рыться в архивах (для особо любопытных я постараюсь предоставить пруфпики), но я помню, как в один прекрасный вечер на тогда еще работавшую Свободу высадилось что-то около 700 экземпляров, которые начали люто, бешено шароебиться по сайту. Через полчаса они, правда, ушли, но у меня остался неприятный осадок – ну что это за поисковик такой? Ну ладно у меня тогда ресурсов было чуть более, чем дохуя, но ведь такое количество пауков запросто может повесить обычный* сайт.
Едем далее. Сегодня я разочаровался в еще одном поисковике, т.н. WebAlta Crawler. Эта сволочь в большом количестве набижала на мой уйутный стэндэлон и принялась его люто, бешено индексировать, в результате чего сайт некоторое время был недоступен из-за превышения лимита ресурсов. Кому интересно – отрывок (90КБ) лога доступа лежит вот тут.
Более-менее прошаренный человек увидит, что и в этот раз поисковик просто интенсивно шароебился по всем ссылкам, которые находил. Этот же человек мне может сказать, что в целях предотвращения таких ситуаций существует, например, robots.txt. На сие замечание я отвечу так: это верно, но, блять, какого хуя тот же Googlebot или робот YandexBlogs (да хоть даже msnbot) напостой шарятся у меня в блоге в кол-ве одного экземпляра, нихуя не вешают и заебись как индексируют, в то время как всякая незваная** хуита набигает и вешает все на свете?
Негодую и порицаю, порицаю и негодую.
———-
* – размещенный на виртуальном хостинге.
** – когда я публикую заметку, то оповещаю об этом радостном событии всего три сайта:
- feedburner.com
- blogsearch.google.com
- blogs.yandex.ru
Тэги:
вебмастерская муть