Перейти к содержанию

Роботы-пауки

Опубликовано

Вчера в разделе общение я создал тему.

Сегодня через поисковую систему rambler я нашел проиндексированную

им страницу созданной мною темы.

Насколько я помню, rambler проводит индексацию ресурса не реже 1 раза в месяц.

Можно создать файл robots.txt на серваке в папке где хранится сайт следующего содержания

User-agent: *

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /java/

Disallow: /banner/

Disallow: /php/

 

И тогда поисковик не будет индексировать страницы в указанных директориях, если только он злонамеренно не будет рыскать по вашему винчестеру.

Да какой с меня студент *__*, так, жалкое пародие
  • Цитата

    • Рекомендуемые сообщения

    Нет сообщений для отображения

    Присоединяйтесь к обсуждению

    Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
    Примечание: Ваш пост будет проверен модератором, прежде чем станет видимым.

    Гость
    Ответить в этой теме...
    https://www.animeforum.ru/topic/4058-%D1%80%D0%BE%D0%B1%D0%BE%D1%82%D1%8B-%D0%BF%D0%B0%D1%83%D0%BA%D0%B8/
    Перейти к списку тем

    Последние посетители 0

    • Ни одного зарегистрированного пользователя не просматривает данную страницу

    Важная информация

    Мы разместили cookie-файлы на ваше устройство, чтобы помочь сделать этот сайт лучше. Вы можете изменить свои настройки cookie-файлов, или продолжить без изменения настроек.

    Configure browser push notifications
    Chrome (Android)
    1. Tap the lock icon next to the address bar.
    2. Tap Permissions → Notifications.
    3. Adjust your preference.
    Chrome (Desktop)
    1. Click the padlock icon in the address bar.
    2. Select Site settings.
    3. Find Notifications and adjust your preference.