Блог Павла Исаенко

Некоторые боты Гугла (Googlebot-Mobile, Googlebot-Image, Adsbot-Google), Gigablast (Gigabot), Yahoo (Slurp), Alexa (ia_archiver), MSN (msnbot), Yanga (yanga) теперь идут лесом.

robots.txt, Интернет, этот блог