Роботы-пауки

[Asuka]

Вчера в разделе общение я создал тему.

Сегодня через поисковую систему rambler я нашел проиндексированную

им страницу созданной мною темы.

Насколько я помню, rambler проводит индексацию ресурса не реже 1 раза в месяц.

Можно создать файл robots.txt на серваке в папке где хранится сайт следующего содержания

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /java/

Disallow: /banner/

Disallow: /php/

 

И тогда поисковик не будет индексировать страницы в указанных директориях, если только он злонамеренно не будет рыскать по вашему винчестеру.