Ранжирование в деталях

Ранжирование — это процесс выстраивания веб-страниц в порядке убывания от наиболее соответствующих запросу (релевантных) к наименее соответствующим. Для установления степени релевантности сайта в лабораториях поисковых систем разрабатываются алгоритмы, которые учитывают, что должно влиять на позицию, при каких запросах и условиях.

Для предоставления актуальной и полезной пользователю информации механизмы ранжирования постоянно совершенствуются: добавляются новые факторы, усложняются механизмы обработки информации.

В данной главе речь пойдет как о релевантности и классификации запросов, схемах ранжирования, так и о других моментах, оказывающих прямое влияние на позиции сайта в поисковых системах. Разобрать эту сложную и интересную тему я предлагаю на примере поисковой системы Яндекс. Во-первых, ее алгоритмы подвергаются существенным изменениям чаще, чем алгоритмы других поисковых систем. Во-вторых, Яндекс — первая в рунете система, работающая с коммерческими, или продающими запросами.

Факторы ранжирования

Факторы ранжирования — это характеристики алгоритма поисковой системы, по которым оценивается страница сайта и определяется ее позиция в выдаче. Яндекс использует в своих алгоритмах несколько сотен факторов. Поисковая система делит их на три большие группы:

1) статические факторы, которые связаны с самой страницей (например, количество ссылок на данный документ в интернете);

2) динамические факторы, связанные одновременно с запросом и страницей (например, присутствие в документе слов запроса, их количество и расположение);

3) запросные факторы, учитывающие признаки поискового запроса (например, геозависимость).

Если поисковая система классифицирует факторы по принадлежности к запросу или странице, то SEO-специалисты — по их влиянию на поисковую выдачу, а именно:

• факторы, оценивающие техническую составляющую сайта, которая в первую очередь влияет на возможность и качество индексации;
• факторы, оценивающие текстовую составляющую интернет-ресурсов, которая показывает релевантность содержимого запросу;
• факторы, оценивающие ссылочную составляющую как страницы, так и всего сайта (внешнюю и внутреннюю, анкорную и трастовую);
• факторы, оценивающие поведенческую составляющую (нравится ли сайт посетителям, удобен ли он, отвечает ли их требованиям);
• факторы дополнительного назначения (соответствия региону сайта, наличия аффилиатов и т.д.).

Рис. 1 Факторы и составляющие ранжирования

Технические характеристики сайта

Технические характеристики сайта — это визитная карточка ресурса для поисковой системы. Важнейшими техническими характеристиками для продвижения сайта являются: его доступность, корректность настроек, скорость ответа сервера, корректность кодов ответа сервера, настройка «зеркал» и др. Технические проблемы влекут за собой трудности с индексацией, что в свою очередь сильно влияет на продвижение: непроиндексированные страницы не принимают участие в ранжировании. По этой причине диагностика работоспособности сайта и технических неполадок является важным моментом в поисковой оптимизации ресурса.

Большинство проблем, возникающих при работе сайта, можно разделить на пять категорий:

1. Сайт недоступен

Сайт должен работать 24 часа в сутки, 7 дней в неделю и быть постоянно доступен как для пользователя, так и для поисковой системы. Если на сайт в момент даже кратковременного сбоя попытается зайти поисковый робот и не сможет этого сделать, ресурс не будет проиндексирован. Это может вызвать падение позиций сайта по ключевым словам или исключение всех его страниц из индекса.

Если же во время сбоя на сайт зайдет не робот, а пользователь, то это может быть еще более критично. Для крупных компаний даже 1 минута неработоспособности ресурса может нанести ущерб в миллионы рублей.

Если сайт регулярно «падает», и возникают серьезные технические неполадки в его работе, стоит задуматься о смене хостинга или аренде выделенного сервера.

2. Mедленный или некорректно настроенный сайт

Скорость ответа сервера, на котором находится сайт, не менее важна, чем стабильность его работы. Последние несколько лет поисковые системы стали уделять этому показателю гораздо больше внимания. Яндекс индексирует сайты, не отвечающие его представлениям о быстроте, в десятки раз медленнее, чем аналогичные сайты с хорошими показателями. Google за «медлительность» не поместит ваш сайт на высокие позиции в выдаче.

Снижение скорости работы может быть вызвано перегрузкой сервера, который не рассчитан на приведенное количество трафика, неоптимизированным кодом страницы, неработающими скриптами, подгружающимися изображениями или flash-объектами большого размера.Кроме низкой скорости, на индексацию и ранжирование могут влиять некорректно настроенные правила противостояния сетевым атакам. В таком случае запросы роботов поисковых систем воспринимаются как нападение — их активность блокируется сервером, и индексация не завершается.

Если новые страницы продвигаемого сайта долго не появляются в выдаче или часто исчезают из нее, а большие нагрузки приводят к появлению ошибок, рекомендуется провести полную диагностику кода сайта и подгружаемых элементов. При необходимости следует сменить хостинг, оптимизировать код, картинки, скрипты и т.д.

3. Kоды ответа страниц сайта

Страницы сайта должны не только быстро открываться, но и корректно отвечать поисковым системам. Код ответа рабочей страницы должен быть 200, а код несуществующей страницы — 404. Статус-коды делятся на 2 группы: перенаправление ошибок сервера и ошибок клиентского ПО. Данная информация является служебной и не показывается посетителю непосредственно на странице сайта. Чтобы узнать, как сайт отвечает Яндексу при запросе той или иной страницы, можно воспользоваться специальным сервисом в панели веб-мастера.

Для этого требуется регистрация и подтвержденные права на сайт в сервисе Яндекс.Вебмастер. Однако для диагностики сайта можно использовать и сторонние сервисы, например, Rooletka.ru.

К примеру, сайт может возвращать 404 статус по различным причинам:

• опечатки в адресах сайтов при наборе;
• переходы из закладок браузеров на страницы, которых больше нет;
• переходы с внешних сайтов по некорректным или устаревшим ссылкам;
• полная смена структуры сайта.

Статус-коды будут подробно рассмотрены в главе «Оптимизация сайта в деталях».

Рис.2 Внешний вид панели Яндекс.Вебмастер

Сразу настроив правила на сайте и предусмотрев перечисленные ситуации, можно оптимизировать затраты на исправление технических неполадок. Периодическая проверка сайта на битые ссылки (ссылки на несуществующие страницы) позволит оперативно их находить и эффективно работать с весом сайта.

4. Настройка «зеркал»

Каждый ресурс изначально доступен по двум разным адресам: с www и без www. Поисковая система перед индексацией воспринимает эти «зеркала» как два разных сайта, и для достижения высоких результатов продвижения необходимо провести так называемую «склейку» их адресов, или настройку «зеркал». «Склейка» — это процесс соединения двух копий сайта, после которого устанавливается переадресация пользователя с одного адреса на другой (например, с ресурса, адрес которого включает www, пользователи будут перенаправлены на ресурс, адрес которого не содержит www, или наоборот).

Указать поисковой системе, какое «зеркало» считать главным, следует в файле robots.txt при помощи директивы Host. Далее надо настроить переадресацию, используя 301 редирект. Данный код сообщает о перемещении страницы и указывает ее новый адрес. Использование 301 редиректа является надежным способом, но в случае отсутствия доступа к настройкам сервера альтернативой ему является настройка главного «зеркала» в панели вебмастера Яндекса и Google.

5. Другие технические характеристики

В качестве дополнительных рекомендаций технической оптимизации можно указать настройку robots.txt и sitemap.xml, рекомендации по работе с flash и frame, обоснование формирования ЧПУ («человеко-понятных урлов»), устранение идентификаторов сессий и динамических URL и др.

Выполнение всех рассмотренных рекомендаций требуется в первую очередь для того, чтобы обеспечить полноценное индексирование ресурса.

Текстовая составляющая

В механизме ранжирования самой важной является оценка релевантности содержания страницы запросу, который ввел пользователь. Для составления индексных баз и определения релевантности поисковые системы используют контент, текст запроса и некоторые элементы html-разметки. Поэтому первое, с чем необходимо работать при продвижении ресурса, — это текстовая составляющая веб-страницы.

Текст должен быть интересен и полезен пользователю, при этом количество вхождений и расстановка ключевых слов должны соответствовать требованиям поисковой системы. Если принципы оптимизации будут нарушены, поисковые системы могут применить санкции в виде специализированных фильтров (подробно речь о них пойдет в третьей главе).

Оптимизация касается всего содержимого страницы: основного текста, заголовков текста и страницы, меню, подписей к картинкам, мета-тегов и т.д. (см. рис. 3).

Изменения, связанные с контентом, вступают в силу быстрее других факторов, влияющих на ранжирование: иногда сразу же после переиндексации, иногда через 2-3 недели из-за пересчета и снятия фильтров.

Так как содержимое документа и html-разметка влияют на релевантность, а результат от изменений контента заметен в скором времени, существует соблазн добавить больше ключевых слов, выделить значимыми тегами продвигаемые слова или написать внушительный объем текста.

Но поисковая система считает такую «псевдооптимизацию» недопустимым инструментом в развитии сайта и применяет санкции (фильтры). Они проявляются в падении позиций и снимаются, когда переоптимизированные тексты будут исправлены и произойдет пересчет соответствующих параметров по сайту.

Рис.3 Пример оптимизации содержимого страницы

Ссылочная составляющая

Сайт-акцептор (принимающая сторона) — это ресурс, на который ведет ссылка. Страницу с размещенной на ней ссылкой, ведущей на сайт-акцептор, называют страницей-донором.

Наличие большого количества ссылок, ведущих на определенный сайт с других ресурсов, увеличивает шансы попадания на него посетителя. Поисковые системы учитывают переходы пользователей для выделения одного документа среди множества, то есть используют принцип цитируемости.

Индекс цитирования (ИЦ) — показатель, который указывает на значимость данной страницы и вычисляется путем учета ссылающихся на нее ресурсов. Данная характеристика учитывает только количество ссылок на ресурс, но не отражает их структуру в каждой тематике. Ссылки с малой и большой значимостью могут иметь одинаковый индекс цитируемости, что не является правильным. Поэтому был введен термин «фактор популярности» (англ. Popularity Factor), он же «взвешенный индекс цитирования» или «вес ссылки». В разных поисковых системах этот фактор называется по-разному: PageRank в Google, вИЦ в Яндексе, ИЦ в Апорте. Также существует тематический индекс цитирования(тИЦ), учитывающий тематику сайтов, ссылающихся на ваш ресурс.

Алгоритмы, применяемые современными поисковыми системами для оценки ссылочной составляющей, претерпели большие изменения, но качество и количество ссылок сохранило свое прямое влияние при выделении страницы среди множества копий. Чем авторитетнее будет страница-донор, схожая с сайтом по тематике, тем больший вес она ему передаст.

Существует множество способов наращивания ссылочной массы: размещение статей, новостей, пресс-релизов, написание постов в блогах, социальных сетях и работа с биржами ссылок. При подборе площадок- доноров необходим опыт в оценке, аналитические способности при сборе параметров и тщательный отбор необходимых сайтов. Эта функция представлена в сервисах автоматизированного продвижения сайтов: система Rookee не только помогает подбирать площадки, но и автоматизирует работу с ними, экономя при этом бюджет и время.

Большое значение имеют не только внешние ссылки, но и внутренняя перелинковка. Если правильно распределить вес всего сайта по целевым (продвигаемым) страницам, то можно существенно сократить затраты на внешние ссылки.

Геозависимость и геонезависимость запроса

Яндекс стремится персонализироваnm выдачу. Одним из шагов на пути к этому является учет региональности в результатах поиска. Учет региональности состоит из определения следующих параметров:

• геозависимость запросов;
• регион сайта;
• регион пользователя.

Геозависимость запроса

Геозависимость запроса показывает, важен ли пользователю при поиске региональный таргетинг. Пример геонезависимого запроса — «рецепт приготовления пиццы». Вводя геозависимый запрос «заказ пиццы», пользователь, скорее всего, желает увидеть в результатах выдачи сайты того региона, в котором он находится. Коммерческие запросы, как правило, являются геозависимыми.

У поисковой системы Яндекс существует специальный сервис проверки геозависимости запроса:

Рис.4 Сравнение результатов поиска в разных регионах

Проверить геозависимость запроса можно и без данного сервиса. Для этого необходимо:

• проверить, есть ли внизу страницы с результатами выдачи фраза

«При поиске отдано предпочтение сайтам из …». Если данная фраза присутствует, то запрос геозависимый, если нет, то запрос геонезависимый.

• проверить, указан ли рядом с сайтами город. Если указан, то запрос

является геозависимым. Если не указан, то запрос — геонезависимый. (К данному способу проверки не относятся запросы с указанием города, например «пластиковые окна Москва», так как они уже содержат регион и не являются геозависимыми.)

Система Rookee при добавлении нового запроса автоматически определяет, к какому типу он принадлежит. Информацию о геозависимости нескольких запросов можно узнать одновременно, добавив их целой группой.

Региональность сайта

Региональная принадлежность сайта является важным фактором ранжирования. Если пользователь ниже строки поиска установит галочку около города, например, «в Новосибирске», то сайты, которым не присвоен данный регион, не будут показаны. Если пользователь не установит галочку, ресурсы, имеющие региональную принадлежность, будут иметь преимущество.

Определяя регион ресурса, поисковая система учитывает контакты, указанные на нем, IP-адрес, регионы сайтов-доноров, вхождения слов в анкорах ссылок и т.д.

Чтобы Яндекс определил для сайта корректную региональную принадлежность, необходимо:

• разместить на странице «Контакты» как можно более полную

информацию: адрес, номер телефона с кодом города, почтовый индекс. Эти данные должны быть размещены текстом, а не в виде изображений. Иначе робот Яндекса не сможет проиндексировать основное содержимое страницы «Контакты». Если у организации есть филиалы в других городах и странах, это также необходимо указать.

• добавить сайт с актуальными адресами в Справочник Яндекса. Важно

ввести не только главный, но и другие адреса компании, чтобы робот присвоил сайту все нужные города. Добавить адреса можно на странице Яндекс.Вебмастера.

• посмотреть, к какому городу отнесен сайт, можно в Яндекс.Вебмастере в

разделе «География сайта», «Регион сайта». Если ресурс не был отнесен ни к одному городу либо был отнесен неправильно, можно установить нужный регион вручную в Яндекс.Вебмастере. Если сайт присутствует в Яндекс.Каталоге, то запрос на изменение региона нужно отправлять модераторам Яндекс.Вебмастера.

Модераторы Яндекса могут отказать в присвоении региона, если на сайте:

• размещены несуществующие контактные данные;
• указан юридический, а не фактический адрес;
• страница с контактными данными заполнена частично.

Регион необходимо указывать как можно более точно. Например, если ваш сайт относится к городу Тольятти, то рекомендуется установить именно этот регион, а не «Россия» или «Самарская область».

Рис.5 Настройка региона сайта для Яндекса

Поведенческие факторы

Поведенческие факторы — совокупность пользовательских характеристик, участвующих в оценке сайта при ранжировании. Благодаря им поисковая система может определить заинтересованность посетителей в ресурсе, его привлекательность именно для человека, а не для машины.

Сбор информации о поведении посетителя (о пользовательских характеристиках) Яндекс может производить непосредственно из поисковой выдачи (отношение кликов к показам, возвращения в выдачу, время, количество просмотренных результатов и другое), из Яндекс.Метрики и Яндекс.Бара. Для Google таким инструментом является Google Analytic.

Рис.6 Изменение позиции сайта после введения в действие поведенческих факторов

Для отслеживания поведения посетителей владелец сайта может использовать отчеты систем веб-аналитики, подключаемые непосредственно к сайту. Самые популярные из них — Яндекс.Метрика и Google.Analytics.

Рис.7 Интерфейс Яндекс.Метрики

Яндекс.Метрика — бесплатный сервис, который позволяет измерять посещаемость сайта и анализировать поведение пользователей. В сервисе Яндекс.Метрика обновление отчетов происходит каждые 5 минут. Для сбора статистики на всех страницах сайта устанавливается код счетчика.

Google Analytics — бесплатный сервис, с помощью которого владелец веб-ресурса может отслеживать подробную информацию о действиях посетителей: откуда они приходят, как долго находятся на сайте и т.д. Статистика собирается на сервере Google через счетчик, устанавливаемый на всех страницах сайта.

Рис.8 Интерфейс Google Analytics

Среди поведенческих параметров можно выделить те, на которые следует обращать внимание в первую очередь:

• параметры удовлетворенности пользователя:

— количество просмотренных страниц сайта, среднее время просмотра страницы, наиболее популярные страницы, показатель отказов,

количество вернувшихся посетителей, скорость загрузки и т.д.;

• параметры поведения пользователя в поисковой выдаче:

— кликабельность сниппета, количество пролистанных страниц и т.д.;

— объем трафика и его детализация;

• миноритарные признаки.

Рис.9 Результат естественного влияния на поведенческие факторы (на основании данных по одному из проектов Ingate)

Официальных сведений по тому, какие именно параметры учитывает поисковая система, нет. Однако, анализируя указанные выше показатели и проводя соответствующие корректировки (как на сайте, так и организуя внешние работы), можно повысить эффективность продвижения сайта.

Влиять на поведенческие факторы нужно только естественными методами, то есть необходимо развивать и улучшать веб-ресурс, добавляя на него полезную и уникальную информацию, создавая дополнительный функционал, улучшая юзабилити. Таким образом, если вы работаете над повышением конверсии сайта и его посещаемости, значит, вы автоматически улучшаете и поведенческие показатели (естественным образом).

Прибегать к методам искусственной накрутки поведенческих факторов крайне опасно. Наибольшую угрозу представляют биржи кликов и роботы-накрутчики, имитирующие действия посетителей. За попытки манипулирования поведенческими метриками сайта поисковая система накладывает санкции (фильтры), выражающиеся в резком падении позиций.

Рис.10 Результат искусственной накрутки, который выразился в резком падении позиций в результатах выдачи

Восстановление позиций сайта может занимать до полугода. Поэтому тщательно следите за статистическими показателями не только ради оценки конверсии, но и для для отслеживания недобросовестного поведения конкурентов. Если вы заметили искусственную накрутку посещений вашего ресурса, проведите расследование, заблокируйте соответствующие IP-адреса и напишите жалобу в службу поддержки Яндекса.

Матрикснет

В 2009 году Яндекс стал использовать новый алгоритм, который использовал при ранжировании гораздо больше факторов. Новый метод машинного обучения Матрикснет показал высокую устойчивость к переобучению без увеличения количества асессорских оценок и опасности найти несуществующие закономерности.

Рис.11 Сравнение Матрикснета с другими методами машинного обучения

Различают множество факторов, которые комплексно или самостоятельно определяют тип сайта с учетом определенных условий. Например, большое число вхождений ключевых слов на странице может негативно сказаться на репутации сайта «в глазах» поисковой системы, но если страница является каталогом товаров, то такое количество повторений оправдано.

Появление Матрикснета позволило построить длинную и сложную формулу ранжирования с десятками тысяч коэффициентов. Этот метод машинного обучения проверяет очень много параметров за короткое время без существенного увеличения числа обслуживающих серверов и сопутствующего оборудования.

Архитектура

Каждый сервер формирует список самых релевантных ответов, а результаты работы всех серверов образуют собой множество наиболее подходящих запросу страниц. Проверяются данные страницы по созданной Матрикснетом формуле, составляющими которой являются тип элемента, класс запроса и другие индивидуальные характеристики. Таким образом, на первых позициях поисковой выдачи оказываются самые релевантные запросу сайты, и пользователь получает ответ на интересующий его вопрос.

До момента обработки поискового запроса происходит два процесса:

1. составление списка факторов путем описания веб-страницы, сайта, запроса, ссылок через множество различных признаков;
2. процесс обучения, при котором Матрикснет определяет параметры

сайтов, занимающих высокие позиции. На данном этапе асессоры оценивают обучающую выборку, на основе которой и строится формула ранжирования.

Алгоритм поисковой системы Яндекс совершенствуется довольно быстро: в течение трех последних лет появилась возможность открытого взаимодействия с веб-мастерами через переписку, были созданы четкие инструкции для асессоров, введены дополнительные критерии оценки сайтов.

Процесс обучения

Процесс обучения Матрикснет представляет собой схему взаимодействия человека и машины. Входными данными являются множество подобранных факторов и обучающая выборка, подготовленная асессорами. В этой выборке представлены как высоко оцененные сайты, так и нерелевантные.

Рис.12 Процесс обучения Матрикснет

Все входные данные загружаются в систему. Она обрабатывает страницы, выделяет в них показатели релевантных и нерелевантных сайтов. Эти факторы представлены в виде чисел, поэтому нахождение формулы сводится к подбору коэффициентов путем решения систем уравнений.

Вспомните, как за школьной партой вы решали простую математическую систему уравнений:

Аналогично можно представить составление формулы ранжирования: 20 и 29 — оценки асессоров, 2 и 5 — показатели двух факторов одного сайта, 3 и 7 — другого сайта; k1 и k2 — коэффициенты в формуле ранжирования, показывающие вклад каждого фактора в оценку релевантности.

В реальности алгоритмы и подходы выявления значимых факторов намного сложнее. Сами названия — регуляризация в листьях, gradient boosting, метод Ньютона для классификации, Ranking, Luce-Plackett model и другие — говорят за себя. Подробнее о них можно прочитать в статье Андрея Гулина «Matrixnet».

Асессорская оценка

асессоры — это специалисты, оценивающие релевантность страницы тому запросу, по которому она была представлена в результатах поиска. Основная задача данных сотрудников — улучшить качество выдачи.

Асессоры, оценивая сайт, смотрят и на его содержание, и на раскрытие тематики, и на удобство использования ресурса. Такой подход стал первым шагом в работе с поведенческими факторами. Можно заметить, что показатель трастовости сайта (TrustRank) стал менее четким, поэтому на сегодняшний день большое внимание уделяется оценке юзабилити и конверсии сайта (показателю переходов посетителей в покупатели).

Иногда перед началом использования алгоритма для подтверждения правильности его работы проводятся тщательные проверки. При бета- тестировании, когда новая версия распространяется на действия некоторого количества пользователей, по их поведению делается вывод о качестве поиска, происходящего по составленной формуле ранжирования. Таким образом, асессоры не только оценивают релевантность документа запросу, но и помогают настраивать алгоритмы поисковой системы.

Критерии асессорской оценки

Для того чтобы оценивать сайт глазами асессора, необходимо знать критерии оценки ресурса по шкале релевантности:

• «Vital» или «витальный» сайт — первоисточник или официальный

ресурс. Его место в выдаче поисковой системы всегда первое. Не каждый запрос предполагает существование такого сайта, но иногда витальных ресурсов может быть два и более.

• «Useful» или «полезный» — сайт, предоставляющий авторитетный,

исчерпывающий и полезный ответ на запрос. Также данную оценку заслуживают тематические ресурсы с большим количеством информации по данному вопросу и сайты филиалов искомой фирмы или факультетов интересующего вуза.

• «Relevant+» или «релевантный» — документ, отвечающий на запрос

пользователя.

• «Relevant-» или «релевантный минус» — документ, имеющий

отношение к запросу, но в полной мере не отвечающий потребности пользователя. Например, для запроса «новогодние игрушки цена» оценка «релевантный минус» будет присвоена тому сайту, на странице которого размещен текст с обсуждением цены, но указания самой стоимости нет. Другой пример: по запросу «карта Москвы» слабо релевантным будет считаться сайт с картами определенного района города или со слишком мелким масштабом.

• «Irrelevant» или «нерелевантный» — документ, не отвечающий запросу.
• «Спам» — это сайты и страницы, продвигаемые методами черной

оптимизации. На таких ресурсах помимо технического мусора или сгенерированного контента нельзя найти что-то полезное.

• «Не про то» — документ, содержащий слова запроса, но не отображающий

его смысл. Такое может произойти из-за наличия омонимов, разрывов в словосочетании или других форм слова. Пример Яндекса: запрос «Лев Толстой». Ресурсам, информирующим о львах, людях с лишним весом или однофамильцах графа, будет присвоен статус «не про то».

Интерфейс для проверки сайтов имеет шкалу оценок, указанный запрос и возможность осмотреть сайт.

Рис.13 Интерфейс асессорской проверки сайтов

Инструкция Google для асессоров аналогична инструкции Яндекса. Существует дополнительная шкала оценки по признаку георелевантности, а также подробное руководство по предпочтениям пользователей, что позволяет ограничивать субъективность оценки асессоров.

Если посмотреть на все перечисленное комплексно, то можно составить ряд рекомендаций, на которые нужно обращать внимание:

• Осмысленность. Информация на рассматриваемой странице должна

соответствовать запросу, быть понятной и значимой.

• Авторизованность. Информация на рассматриваемой странице должна

быть актуальной, уникальной и корректной.

• Авторитетность. Сайт / компания / информация должны быть

авторитетными для посетителей и поисковых систем.

• Полнота. Информация должна быть полной, отвечать на все вопросы

по запросу, а сайт должен содержать дополнительные данные, раскрывающие тематику.

• Структура. Информация должна быть структурирована, представлена

в читабельном виде.

• Оформление. Информация должна соответствовать требованиям

юзабилити, иметь сопутствующую графическую информацию. Если следовать всем указанным рекомендациям, то можно легко добиться оценки «полезный сайт».

Нюансы

В работе асессоров есть свои нюансы.

1. Оценка связки «запрос/URL».

Учитывая это, анализируйте свой сайт только по отношению к определенному запросу.

2. Оценка страницы в соответствии с указанным регионом.

Следует указывать адрес фирмы и название города, чтобы любой асессор мог определить региональную принадлежность сайта.

3. Оценка многозначных запросов.

Какой сайт будет полезен по запросу «Марс»: с информацией о планете, шоколадном батончике или боге войны? Для того чтобы разобраться в оценке многозначных запросов, используется специальная шкала:

• «Dominant Interpretation» или «Vital to Off-Topic» — самое

употребляемое значение слова, бренд. Для запроса «Марс» это «транснациональная корпорация».

• «Common Interpretation» или «Useful to Off-Topic» — общепринятое

понятие для заданного запроса. В случае с запросом «Марс» это «планета, бог войны».

• «Minor Interpretation» или «Relevant to Off-Topic» — менее известное

определение слова. Для запроса «Марс» это «фильм, серия межпланетных станций, судно на воздушной подушке, подводная лодка».

• «“No chance” Interpretation» или «Off-Topic» — определение, которое

известно малому количеству людей. Для запроса «Марс» это аббревиатуры (московская ассоциация революционных сатириков), топонимика — деревня Марс в Кушнаренковском районе Башкортостана, кличка кота или другого животного.

Продвигать по нечетким запросам ввиду их высокой узнаваемости и популярности можно только страницы, интерпретируемые как Dominant или Common.

4. Субъективность.

Иногда сложно выделить среди других сайт с наибольшей релевантностью: например, запросу «Шерлок Холмс» может подходить ресурс с информацией про книгу, старый фильм, новую экранизацию, с адресами кинотеатров, где можно ее увидеть, или с предложением купить диск. В спорных ситуациях для точной оценки проводятся дополнительные исследования поведения пользователей.

5. Психологические ограничения по длительной работе в штате удаленных сотрудников.

Повседневная однотипная работа асессора, заключающаяся в просмотре 400 сайтов в день, может сказаться на качестве оценки релевантности ресурсов.

Технология «Спектр»

Асессорская оценка по многозначным запросам позволяет классифицировать сайты определенным образом. По результатам исследования Яндекс, более 20% пользователей вводили неоднозначные запросы (например, Марс), что потребовало внедрения нового алгоритма. В декабре 2010 года был запущен «Спектр», который действует по принципу логики человека. Например, по запросу «ношпа» определяется категория «лекарства», а по запросу «Пушкин» — и категория «поэты», и категория «города».

В многословном запросе категория определяется по основному объекту: например, в запросе «красная микроволновка» главным словом считается «микроволновка». В качестве объектов могут выступать имена людей, названия фильмов и книг, модели автомобилей и т.п.

Основным инструментом создания банка знаний по категориям является обработка статистических данных. Информация из справочников, энциклопедий, в том числе Википедии, также помогает распознавать недавно появившиеся объекты и категории.

На данный момент, согласно данным Яндекса, «Спектр» различает более 60 категорий, и их количество все время растет. Эти знания позволяют поисковой системе понимать разные значения запросов, а также потребности, связанные с каждой категорией.

Выделяя группы и анализируя уточняющие вопросы по каждой категории, можно определить: хотят ли пользователи увидеть в поисковой выдаче при вводе запроса «автомобили» отзывы о моделях, при вводе запроса «кухни» — фотографии их дизайна. Таким образом, отношение к категории определяют второстепенные объекты запроса, которые вместе с главными часто употребляются пользователями в поисковой строке. Например, запрос «товары» чаще дополняется словами «для детей», «для дома», «для сада».

Рис.14 Принцип работы технологии "Спектр"

Популярность слов относительно друг друга влияет на ранжирование результатов поиска по многозначным запросам. Найденные сайты упорядочиваются таким образом, чтобы спектр ответов соответствовал спектру вопросов. Анализ запросов происходит полностью автоматически.

С помощью технологии «Спектр» Яндекс максимизирует вероятность подобрать подходящий ответ по введенному запросу. За счет сайтов, добавленных в поисковую выдачу по технологии «Спектр», сокращаются места для стандартных ресурсов. Соответственно, усилия, прикладываемые для достижения цели, и затраты, необходимые для попадания в ТОП, увеличиваются. В качестве совета можно предложить не подбирать для продвижения общие и неоднозначные по смыслу слова.

Классификация запросов

Класс запроса влияет на учет географической составляющей ресурса, выбор алгоритма ранжирования и категорию сайта согласно технологии «Спектр». Имея представление о классах запросов, можно глубже анализировать выдачу, строить гипотезы для изучения алгоритмов ранжирования, а главное, совершенствовать и детально оптимизировать свой сайт на более профессиональном уровне.

Всего можно выделить 9 классификаций запросов (представлены на инфографике ниже).

1. Классификация запросов по длине. При определении типа запросов по длине не учитываются стоп-слова: местоимения, предлоги, союзы, междометия.

2. Классификация запросов по четкости. Данный параметр во многом определяет характер страницы результатов поиска. При четком запросе выдача более однородна и раскрывает конкретную тему. При нечетком — неоднородна и содержит ответы для всех возможных значений слова.

3. Классификация запросов по стадии поиска. Стадия поиска показывает, на каком этапе решения проблемы находится пользователь. Понимание этого очень важно для продвижения коммерческих запросов. Например, если ориентироваться на запросы стадии поиска тарифов, цен и магазинов, можно провести соответствующую оптимизацию и проработать юзабилити таким образом, чтобы посетитель стал покупателем.

4. Классификация запросов по частоте. Частотность является одним из факторов определения конкурентности запроса, как следствие, она влияет на продолжительность продвижения ресурса, ценообразование и определение стратегии ссылочной кампании и работы в целом.

Единой системы классификации запросов по частоте не существует. На инфографике представлено то, как группирует запросы Ingate.

Частотность запроса можно определить с помощью статистики ключевых слов Wordstat.Yandex, предоставленной поисковой системой Яндекс. Данные в этом сервисе обновляются один раз в месяц.

5. Классификация запросов по конкурентности является важнейшим фактором при ценообразовании, определении стратегии продвижения и времени работы с каждым запросом и с ресурсом в целом. Дать точную оценку конкурентности может только SEO-специалист, так как стоимость некоторых запросов увеличена искусственным образом.

Важно отметить, что высококонкурентый запрос не всегда является высокочастотным.

6. Классификация запросов по географии позволяет поисковой системе наиболее полно учитывать интересы пользователей из разных регионов и, соответственно, выдавать более полезную информацию.

Стоит отметить, что все запросы, содержащие в себе название города, являются геонезависимыми: если город указан в запросе, сайты, принадлежащие ему, получат приоритет в результатах поиска.

7. Классификация запросов по синтаксису показывает, как (в каком стиле) пользователем был введен поисковый запрос.

8. Классификация запросов по языку. Следует отметить значительность данной классификации: она дает понимание, к каким запросам будет применен «Спектр», какие будут исправлены, а какие надо продвигать, если сайт ориентирован на товары иностранных производителей. Например, суржиковые запросы (запросы, состоящие из смеси разных языков) часто используются для поиска продукции определенных брендов. Если при оформлении ресурса ориентироваться на посетителей, вводящих такие запросы, можно значительно повысить конверсию.

9. Классификация запросов по цели во многом определяет характер страницы результатов поиска. По общим запросам будет получена неоднородная выдача, по транзакционным — более точная информация, например, карта вашего города с отметкой ближайшего ресторана.

Ранжирование с учетом географии

Рис.15 Механизм ранжирования с учетом географии

Как правило, пользователь не задумывается о том, каким образом поисковая система формирует выдачу по его запросу. Тем не менее, он заинтересован в том, чтобы получить данные в соответствии с региональным расположением. Для улучшения качества поиска в поисковых системах присутствует геозависимый принцип таргетинга.

Поиск Яндекса по нескольким регионам России стал возможным в апреле 2009 года. Новый алгоритм был назван «Арзамас» и применялся для ранжирования геозависимых запросов по Москве, Санкт-Петербургу и России.

Вскоре был введен «Арзамас +16», который действовал уже на 16 региональных уровнях. Сейчас Яндекс использует усовершенствованный алгоритм регионального поиска, используемый для ранжирования с учетом географии в более чем 1200 регионах.

Рассмотрим принцип действия алгоритма регионального ранжирования. Сначала поисковая система идентифицирует регион пользователя (как правило, по IP-адресу).

В дальнейшем запрос анализируется на геозависимость. Если запрос геонезависимый, ранжирование происходит по общей формуле. Если запрос геозависимый, система анализирует, какую формулу ранжирования надо применить. Если в регионе пользователя используется «Арзамас», то ранжирование происходит по общей формуле. В обратном случае — по региональной.

Ранжирование по коммерческим запросам

Первые обсуждения специфики коммерческих запросов начались в начале 2010 года. В блоге Яндекса руководитель службы оценки качества поиска Роман Поборчий опубликовал пост, где рассмотрел недостатки ранжирования запроса «пластиковые окна» и обозначил желаемые требования:

• отсутствие сайта Википедии в выдаче по коммерческим транзакционным запросам;
• наличие в выдаче коммерческих предложений;
• наличие в выдаче сайта, с помощью которого посетители смогут разобраться в предмете запроса;
• наличие на сайте дополнительной информации о предмете запроса, отвечающей на возможные вопросы посетителя (например, виды окон, отличия профиля от стеклопакета и т.д.).

Использование Матрикснета, разработка технологии «Спектр», широкие возможности автоматизации, «армия» асессоров — все это способствует реализации описанных выше требований. Классифицировать запрос по цели достаточно легко, определить выдачу под коммерческий запрос возможно. Трудность заключается в поиске критериев оценки.

Параметров по шкале релевантности асессоров недостаточно для ранжирования, так как это приводит к одинаковой оценке всех сайтов в ТОПе по коммерческим запросам.

Поэтому 23 ноября 2011 года была разработана шкала с новыми критериями оценки коммерческих запросов:

• Доверие к сайту и компании. Пользователь покупает услугу или товар

на ресурсе, который считает надежным. Доверие к сайту формируется на основе узнаваемости бренда. В случае, если компания не известна пользователю, на формирование доверительного отношения к ресурсу влияет максимально полная контактная информация, наличие отзывов от покупателей, представленное портфолио и другие элементы.

• Дизайн и пользовательский интерфейс. Сайт является визитной карточкой

бренда в интернете, и именно дизайн должен убеждать пользователя совершить покупку именно на этом ресурсе. Совершению транзакции способствует качественное описание услуг, товаров, их фотографии, удобный поиск и возможность сравнения по различным параметрам, рейтинги, обзоры, рекомендации для разных групп покупателей. Внешнему виду сайта следует уделять пристальное внимание. Яндекс официально объявил о стремлении учитывать юзабилити при ранжировании.

• Ассортимент. Ограниченный ассортимент или отсутствие товара

приводит к тому, что посетитель с большой вероятностью покинет данный сайт и перейдет на другой. Широкий ассортимент, напротив, позволит посетителю не только выбрать необходимый товар, но и станет дополнительным стимулом для повторного визита.

• Возможности оплаты и доставки. Информация о способах оплаты и

доставки товара является дополнительным фактором в пользу принятия решения о покупке.

Справка: история развития поисковой системы Яндекс

С 2008 года команда Яндекса стала информировать читателей своего блога о нововведениях в процессах поисковых систем, а каждому алгоритму присваивала название одного из городов России. Отобразить эволюцию алгоритма ранжирования поисковой системы Яндекс можно с помощью рассказа о путешествии из Магадана в Краснодар:

Рис.16 История изменения алгоритмов ранжирования Яндекса

Магадан

14 апреля 2008 Яндекс открыл сервис buki.yandex.ru, где веб-мастера могли протестировать новый алгоритм «Магадан», указать ошибки и задать вопросы.

Около месяца понадобилось Яндексу, чтобы учесть все отзывы и доработать алгоритм. 16 мая 2008 алгоритм «Магадан» вступил в силу. Новое в алгоритме:

• введен поиск по иностранным сайтам;
• увеличено в 2 раза число факторов ранжирования;
• доработан классификатор, определяющий тип страницы и ссылок;
• введен классификатор коммерциализированности;
• стала учитываться уникальность контента;
• появился классификатор порнографии;
• появился геоклассификатор запроса;
• стала возможной обработка транслита и аббревиатур.

Магадан 2.0

2 августа 2008 года введен усовершенствованный алгоритм «Магадан 2.0»:

• добавлены факторы, учитывающие уникальность контента;
• улучшен классификатор порнографии;
• улучшен геоклассификатор запроса;
• улучшен классификатор коммерциализированности.

В этот же день Яндекс проинформировал читателей своего блога о скором появлении нового алгоритма «Находка».

Находка

11 сентября 2008 года — дата начала использования алгоритма «Находка». Основные изменения:

• новый подход к машинному обучению;
• новый способ учета факторов ранжирования по формуле;
• изменения в методе учета стоп-слов;
• улучшение поиска слов через дефис и в слитном написании.

Арзамас

Изначально данный алгоритм назывался «Анадырь», затем был переименован в «Арзамас» и выложен 10 апреля 2009 года на yandex.ru. Главное изменение — улучшение интерпретации слов, имеющих несколько значений. Это было реализовано благодаря анализу запросов пользователей, частоты слов в интернете и их сочетаемости, слов из статистики Национального корпуса русского языка.

Арзамас 1.1

17 июня 2009 года Яндекс выложил корректировки алгоритма на buki.yandex.ru. В «Арзамас 1.1» изменилась формула ранжирования, которая определяла результаты поиска для пользователей из России (Москвы, Санкт-Петербурга и Екатеринбурга). Версия Арзамас 1.1 была выложена на yandex.ru 24 июня 2009.

Арзамас 1.2

17 июля 2009 года на buki.yandex.ru появилась другая версия «Арзамас 1.2». После завершения ее тестирования 20 августа версия была выложена на yandex.ru. Главное изменение заключалось в улучшении классификатора геозависимости запросов.

Арзамас +16

31 августа 2009 года очередная версия «Арзамас +16» была выложена на buki.yandex.ru для тестирования, 3 сентября — в общую выдачу . Нововведение — расширение действия поиска по регионам еще на 16 городов России: Новосибирск, Красноярск, Омск, Ростов-на-Дону, Краснодар, Нижний Новгород, Уфу, Пермь, Казань, Самару, Челябинск, Владивосток, Кемерово, Иркутск, Барнаул и Воронеж.

Арзамас 1.5

Версия «Арзамас 1.5» была выложена на buki.yandex.ru 23 сентября 2009 года. В ней была реализована общая формула ранжирования, определяющая порядок результатов поиска по геонезависимым запросам и запросам из городов, где нет локализованного ранжирования. Анонсирования выкладки данного алгоритма не было.

Арзамас 1.5 SP1

28 сентября на buki.yandex.ru была выложена последняя версия алгоритма — «Арзамас 1.5 SP1», а уже 9 октября — на yandex.ru. Изменения коснулись формулы ранжирования по геозависимым запросам в Санкт-Петербурге, Екатеринбурге, Новосибирске, Красноярске, Омске, Ростове-на-Дону, Краснодаре, Нижнем Новгороде, Уфе, Перми, Казани, Самаре, Челябинске, Владивостоке, Кемерово, Иркутске, Барнауле и Воронеже.

Таким образом, серия версий алгоритма «Арзамас» позволила:

• снять омонимию;
• изменить формулу ранжирования для пользователей из России, исключая Москву, Санкт-Петербург и Екатеринбург;
• улучшить классификатор геозависимости запросов;
• ввести региональное ранжирование еще в 16 регионах России.

АГС-17 и АГС-30

В течение осени и зимы 2009 года Яндекс исключил из индекса ресурсы, не удовлетворяющие требованиям, и сократил объем сайтов низкого качества до 1-15 страниц. С помощью алгоритмов АГС Яндекс начал борьбу с сателлитами и другими веб-страницами, не представляющими интереса для пользователей. По словам представителей Яндекса, фильтр существовал с 2006 года, но активно использовать его стали с осени 2009 года.

Снежинск

10 ноября 2009 алгоритм «Снежинск» был выложен на buki.yandex.ru для тестирования, 17 ноября — в общий поиск. Нововведения:

• новый метод машинного обучения Матрикснет;
• создание более точной и сложной математической модели, учитывающей несколько тысяч поисковых параметров для документа;
• внедрение дополнительных региональных факторов, основанных на интересе пользователей к документам;
• внедрение программы в российскую выдачу (не затронуло Украину, Казахстан и Белоруссию);
• учет поведенческих факторов ранжирования.

Конаково

«Конаково» — один из алгоритмов серии «Снежинск», выложенный на www.yandex.ru 22 декабря 2009 года. С его введением локальное ранжирование стало доступно для 1250 городов, а не для 19.

Снежинск 1.1

17 марта 2010 на www.yandex.ru выложен алгоритм «Снежинск 1.1» с улучшенной общей формулой ранжирования для пользователей из России по геонезависимым запросам.

Результатом всех обновлений серии «Снежинск» стали:

• новая расширенная версия поисковой программы «Снежинск»;
• более широкое использование возможностей алгоритма Матрикснет;
• использование локального ранжирования для 1250 городов по всей России;
• учет нескольких десятков параметров, описывающих принадлежность сайта к тому или иному региону.

Мировой интернет

7 июля 2010 года был осуществлен запуск поиска по мировому интернету. При вводе запроса латиницей на www.yandex.ru или www.yandex.com стало возможным включить фильтр и видеть в результатах поиска только зарубежные ресурсы.

Полтава

4 августа 2010 была введена новая версия поиска для украинских пользователей «Полтава». В данном алгоритме при ответе на геозависимые запросы отдается предпочтение сайтам из региона пользователя, при этом учитывается перевод запроса с украинского на русский и наоборот.

Обнинск

6 августа 2010 на buki.yandex.ru для тестирования был выложен алгоритм «Обнинск», 13 сентября — в основной поиск на yandex.ru. Отличительные характеристики данного алгоритма:

• новое ранжирование для геонезависимых запросов по России;
• усложнение формулы ранжирования.

SEO-ссылки

23 сентября 2010 в рабочий алгоритм была внедрена корректировка, ограничивающая влияние некачественных, по мнению Яндекса, SEO-ссылок на ранжирование. Соответственно, качество выдачи для конечного пользователя значительно улучшилось.

Авторский контент

2 ноября 2010 года была усовершенствована часть алгоритма, отвечающая за определение авторства,страницы с уникальным контентом стали получать более высокие позиции.

Запросы на латинице

6 декабря 2010 была обновлена формула ранжирования: улучшена выдача по запросам, заданным латиницей.

Краснодар

15 декабря 2010 была запущен «Спектр», учитывающий множество неявных целей пользователей. Данная технология легла в основу алгоритма «Краснодар», который был запущен в поиск 17 декабря 2010 года и увеличил нахождение местных сайтов по региональным запросам.

Поведенческая накрутка

23 мая 2011 года был введен фильтр за накрутку поведенческих факторов, из-за которого ресурсы некоторых компаний потеряли свои позиции в ТОП10. Санкции коснулись тех сайтов, на которые искусственным путем значительно увеличивалось количество переходов из результатов поиска по конкретным запросам.

Рейкьявик

В августе 2011 года Яндекс запустил поисковую платформу под названием «Рейкьявик». Результатами этого стали учет языковых предпочтений пользователя, обновление поисковых формул для России и Белоруссии, обновление математического колдунщика и колдунщика онлайн игр, улучшение выдачи для запросов с опечатками, усовершенствование показа поисковых подсказок.

Переоптимизированные тексты

13 сентября 2011 было анонсировано введение текстового фильтра за чрезмерно оптимизированные тексты. Робот поисковой системы анализирует проиндексированные страницы и оценивает, являются ли они полезными, а сайт — удобным для пользователя. Если контент создан исключительно для влияния на поисковую систему, позиции этого документа в выдаче ухудшаются.

Юзабилити сайта

5 октября 2011 года Яндекс предпринял первый шаг по учету юзабилити сайта. Поисковая система стала определять, мешает ли пользователям реклама на сайте или, наоборот, дополняет его содержание. В первом случае такие сайты при ранжировании имеют более низкие позиции.

Коммерческая выдача

Для московского региона 23 ноября 2011 года была введена новая формула ранжирования по коммерческим запросам, учитывающая доверие к сайту и компании, дизайн и пользовательский интерфейс, широкий ассортимент, цены, вырианты оплаты и доставки. По словам представителей Яндекса, количество параметров будет увеличиваться.

Описанное выше путешествие еще не закончено: с каждым месяцем алгоритмы все совершенствуются для повышения качества поисковой выдачи. Об анонсировании всех событий можно прочитать в блоге Яндекса.

---

Источник http://www.ingate.ru/