По поводу секретных файлов в открытых директориях - это уже диагноз, тут никакие роботы не спасут. Расчитывать на то, что поисковики не выдадут вашу секретную информацию это халатность, мягко говоря.
А каким образом Яндекс проиндексировал запретные болги не знаю. Думаю, что они перекупили у кого-то технологию (например у lj.crossroads.ru), а те не уважали роботов.
Да, вот еще вопрос - как с постингами быть. Допустим я не хочу, чтобы мои комментарии на журнале bbb были индексированы. Но реально такой возможности у меня нет. В этом случае поведение роботов не меняется, однако теперь они делают что-то с моими комментариями против моей воли.
Или наоборот - я оставил комментарий у corsica с надеждой, что его проиндексируют, а мне большую дулю показывают. Нехорошо ведь :)
![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
timeasmymeasure
no subject
Date: 2005-01-14 06:42 pm (UTC)А каким образом Яндекс проиндексировал запретные болги не знаю. Думаю, что они перекупили у кого-то технологию (например у lj.crossroads.ru), а те не уважали роботов.
Да, вот еще вопрос - как с постингами быть. Допустим я не хочу, чтобы мои комментарии на журнале
Или наоборот - я оставил комментарий у
no subject
Date: 2005-01-14 08:46 pm (UTC)у меня диагноза нет :)