Роботы-пауки
Рекомендуемые ответы
Последние посетители 0
- Ни одного зарегистрированного пользователя не просматривает данную страницу.
Лучший способ просмотра. Узнать больше.
Полноэкранное приложение на домашнем экране с push-уведомлениями, значками и другими функциями.
Вчера в разделе общение я создал тему.
Сегодня через поисковую систему rambler я нашел проиндексированную
им страницу созданной мною темы.
Насколько я помню, rambler проводит индексацию ресурса не реже 1 раза в месяц.
Можно создать файл robots.txt на серваке в папке где хранится сайт следующего содержания
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /java/
Disallow: /banner/
Disallow: /php/
И тогда поисковик не будет индексировать страницы в указанных директориях, если только он злонамеренно не будет рыскать по вашему винчестеру.