Роботы-пауки

Автор Asuka
14 января, 2005 в О форуме

Рекомендуемые сообщения

Опубликовано 14 января, 2005

Вчера в разделе общение я создал тему.

Сегодня через поисковую систему rambler я нашел проиндексированную

им страницу созданной мною темы.

Насколько я помню, rambler проводит индексацию ресурса не реже 1 раза в месяц.

Можно создать файл robots.txt на серваке в папке где хранится сайт следующего содержания

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /java/

Disallow: /banner/

Disallow: /php/

И тогда поисковик не будет индексировать страницы в указанных директориях, если только он злонамеренно не будет рыскать по вашему винчестеру.

Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.

Ответить в этой теме...

× Вставлено с форматированием. Вставить как обычный текст

Разрешено использовать не более 75 эмодзи.

× Ваша ссылка была автоматически встроена. Отображать как обычную ссылку

× Ваш предыдущий контент был восстановлен. Очистить редактор

× Вы не можете вставлять изображения напрямую. Загружайте или вставляйте изображения по ссылке.

Загрузка...