Сейчас 127 заметки.
Редактирование: Поисковые системы
Материал из ЗАметки
Внимание! Вы не авторизовались на сайте. Ваш IP-адрес будет публично видимым, если вы будете вносить любые правки. Если вы войдёте или создадите учётную запись, правки вместо этого будут связаны с вашим именем пользователя, а также у вас появятся другие преимущества.
Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы ваша отмена правки была сохранена.
Текущая версия | Ваш текст | ||
Строка 260: | Строка 260: | ||
Некоторые посторонние роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить подлинность | Некоторые посторонние роботы могут маскироваться под роботов Яндекса путем указания соответствующего user-agent. Вы можете проверить подлинность | ||
робота с помощью идентификации, основанной на обратных DNS-запросах. | робота с помощью идентификации, основанной на обратных DNS-запросах. | ||
+ | |||
Индексирующий робот обнаруживает и индексирует страницы, чтобы создать базу для основного поиска. | Индексирующий робот обнаруживает и индексирует страницы, чтобы создать базу для основного поиска. | ||
+ | |||
Робот по изображениям заносит в индекс графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например, | Робот по изображениям заносит в индекс графическую информацию, которая в дальнейшем отображается в выдаче соответствующего сервиса, например, | ||
[http://images.yandex.ru/ Яндекс.Картинки] или [https://www.google.com/imghp?hl=en&tab=wi&sesinv=1 Картинки Google]. | [http://images.yandex.ru/ Яндекс.Картинки] или [https://www.google.com/imghp?hl=en&tab=wi&sesinv=1 Картинки Google]. | ||
+ | |||
Робот, определяющий зеркала, проверяет зеркала сайтов, прописанных в файле robots.txt. Если они идентичны, то в результатах выдачи поисковика будет только один сайт — главное зеркало. | Робот, определяющий зеркала, проверяет зеркала сайтов, прописанных в файле robots.txt. Если они идентичны, то в результатах выдачи поисковика будет только один сайт — главное зеркало. | ||
+ | |||
Специальный робот проверяет доступность сайта, добавленного через форму «[http://webmaster.yandex.ru/addurl.xml Добавить URL]» в Яндекс.Вебмастер | Специальный робот проверяет доступность сайта, добавленного через форму «[http://webmaster.yandex.ru/addurl.xml Добавить URL]» в Яндекс.Вебмастер |