Провел небольшое расследование про поведение ботов на нулевом сайте на примере проекта -
ВотКстати.ру.
Единовременно сайт был засабмичен во все более-менее крупные поисковики. Результаты таковы:
- самый отзывчивый (пришел первым) Google Bot, практически через несколько минут. Один раз. Затем неспеша начал выкачивать через почти равный промежуток времени странички. В выдаче главная появилась практически через сутки, остальные страницы – равномерно через 9 дней.
- самый осторожный, но ненасытный – Яндекс.Бот. В течении нескольких дней аккуратно простукивал корень прежде спросив разрешения у robots.txt. Причем с разных IP, видимо для снятия подозрений в клоакинге. Потом через недельку начал набегами начал «засасывать» сайт. Главная и второстепенные страницы появляются неравными партиями.
- самый вероломный – yahoo. Просто тупо качает все подряд страницы не обращая внимания ни на что. Пока не высосет – в выдаче сайт не появляется.
- самым тупым оказался Baiduspider+(+http://www.baidu.com/search/spider.htm). Долбает корень сайта уже вторую неделю, не обращая внимание на robots.txt. Трудолюбивый китаец оказался…
- самый ленивый – Rambler Bot. Зашел через неделю, скушал главную и задумчиво ушел
- самый пофигистичный – Gogo.ru. Вообще не пришел.
Вот кстати.ру, получил несколько замечаний и предложений (включая инвестиции). Жду ещё, чтобы сделать новый, более удобный релиз.
