Ранжирование в деталях

Ранжирование — это процесс выстраивания веб-страниц в порядке убывания от наиболее соответствующих запросу (релевантных) к наименее соответствующим. Для установления степени релевантности сайта в лабораториях поисковых систем разрабатываются алгоритмы, которые учитывают, что должно влиять на позицию, при каких запросах и условиях.

Для предоставления актуальной и полезной пользователю информации механизмы ранжирования постоянно совершенствуются: добавляются новые факторы, усложняются механизмы обработки информации.

В данной главе речь пойдет как о релевантности и классификации запросов, схемах ранжирования, так и о других моментах, оказывающих прямое влияние на позиции сайта в поисковых системах. Разобрать эту сложную и интересную тему я предлагаю на примере поисковой системы Яндекс. Во-первых, ее алгоритмы подвергаются существенным изменениям чаще, чем алгоритмы других поисковых систем. Во-вторых, Яндекс — первая в рунете система, работающая с коммерческими, или продающими запросами.

Факторы ранжирования

Факторы ранжирования — это характеристики алгоритма поисковой системы, по которым оценивается страница сайта и определяется ее позиция в выдаче. Яндекс использует в своих алгоритмах несколько сотен факторов. Поисковая система делит их на три большие группы:

1) статические факторы, которые связаны с самой страницей (например, количество ссылок на данный документ в интернете);

2) динамические факторы, связанные одновременно с запросом и страницей (например, присутствие в документе слов запроса, их количество и расположение);

3) запросные факторы, учитывающие признаки поискового запроса (например, геозависимость).

Если поисковая система классифицирует факторы по принадлежности к запросу или странице, то SEO-специалисты — по их влиянию на поисковую выдачу, а именно:

• факторы, оценивающие техническую составляющую сайта, которая в первую очередь влияет на возможность и качество индексации;
• факторы, оценивающие текстовую составляющую интернет-ресурсов, которая показывает релевантность содержимого запросу;
• факторы, оценивающие ссылочную составляющую как страницы, так и всего сайта (внешнюю и внутреннюю, анкорную и трастовую);
• факторы, оценивающие поведенческую составляющую (нравится ли сайт посетителям, удобен ли он, отвечает ли их требованиям);
• факторы дополнительного назначения (соответствия региону сайта, наличия аффилиатов и т.д.).

рис.1

Технические характеристики сайта

Технические характеристики сайта — это визитная карточка ресурса для поисковой системы. Важнейшими техническими характеристиками для продвижения сайта являются: его доступность, корректность настроек, скорость ответа сервера, корректность кодов ответа сервера, настройка «зеркал» и др. Технические проблемы влекут за собой трудности с индексацией, что в свою очередь сильно влияет на продвижение: непроиндексированные страницы не принимают участие в ранжировании. По этой причине диагностика работоспособности сайта и технических неполадок является важным моментом в поисковой оптимизации ресурса.

Большинство проблем, возникающих при работе сайта, можно разделить на пять категорий:

1. Сайт недоступен

Сайт должен работать 24 часа в сутки, 7 дней в неделю и быть постоянно доступен как для пользователя, так и для поисковой системы. Если на сайт в момент даже кратковременного сбоя попытается зайти поисковый робот и не сможет этого сделать, ресурс не будет проиндексирован. Это может вызвать падение позиций сайта по ключевым словам или исключение всех его страниц из индекса.

Если же во время сбоя на сайт зайдет не робот, а пользователь, то это может быть еще более критично. Для крупных компаний даже 1 минута неработоспособности ресурса может нанести ущерб в миллионы рублей.

Если сайт регулярно «падает», и возникают серьезные технические неполадки в его работе, стоит задуматься о смене хостинга или аренде выделенного сервера.

2. Mедленный или некорректно настроенный сайт

Скорость ответа сервера, на котором находится сайт, не менее важна, чем стабильность его работы. Последние несколько лет поисковые системы стали уделять этому показателю гораздо больше внимания. Яндекс индексирует сайты, не отвечающие его представлениям о быстроте, в десятки раз медленнее, чем аналогичные сайты с хорошими показателями. Google за «медлительность» не поместит ваш сайт на высокие позиции в выдаче.

Снижение скорости работы может быть вызвано перегрузкой сервера, который не рассчитан на приведенное количество трафика, неоптимизированным кодом страницы, неработающими скриптами, подгружающимися изображениями или flash-объектами большого размера.Кроме низкой скорости, на индексацию и ранжирование могут влиять некорректно настроенные правила противостояния сетевым атакам. В таком случае запросы роботов поисковых систем воспринимаются как нападение — их активность блокируется сервером, и индексация не завершается.

Если новые страницы продвигаемого сайта долго не появляются в выдаче или часто исчезают из нее, а большие нагрузки приводят к появлению ошибок, рекомендуется провести полную диагностику кода сайта и подгружаемых элементов. При необходимости следует сменить хостинг, оптимизировать код, картинки, скрипты и т.д.

3. Kоды ответа страниц сайта

Страницы сайта должны не только быстро открываться, но и корректно отвечать поисковым системам. Код ответа рабочей страницы должен быть 200, а код несуществующей страницы — 404. Статус-коды делятся на 2 группы: перенаправление ошибок сервера и ошибок клиентского ПО. Данная информация является служебной и не показывается посетителю непосредственно на странице сайта. Чтобы узнать, как сайт отвечает Яндексу при запросе той или иной страницы, можно воспользоваться специальным сервисом в панели веб-мастера.

Для этого требуется регистрация и подтвержденные права на сайт в сервисе Яндекс.Вебмастер. Однако для диагностики сайта можно использовать и сторонние сервисы, например, Rooletka.ru.

К примеру, сайт может возвращать 404 статус по различным причинам:

• опечатки в адресах сайтов при наборе;
• переходы из закладок браузеров на страницы, которых больше нет;
• переходы с внешних сайтов по некорректным или устаревшим ссылкам;
• полная смена структуры сайта.

Статус-коды будут подробно рассмотрены в главе «Оптимизация сайта в деталях».

рис.2

Сразу настроив правила на сайте и предусмотрев перечисленные ситуации, можно оптимизировать затраты на исправление технических неполадок. Периодическая проверка сайта на битые ссылки (ссылки на несуществующие страницы) позволит оперативно их находить и эффективно работать с весом сайта.

4. Настройка «зеркал»

Каждый ресурс изначально доступен по двум разным адресам: с www и без www. Поисковая система перед индексацией воспринимает эти «зеркала» как два разных сайта, и для достижения высоких результатов продвижения необходимо провести так называемую «склейку» их адресов, или настройку «зеркал». «Склейка» — это процесс соединения двух копий сайта, после которого устанавливается переадресация пользователя с одного адреса на другой (например, с ресурса, адрес которого включает www, пользователи будут перенаправлены на ресурс, адрес которого не содержит www, или наоборот).

Указать поисковой системе, какое «зеркало» считать главным, следует в файле robots.txt при помощи директивы Host. Далее надо настроить переадресацию, используя 301 редирект. Данный код сообщает о перемещении страницы и указывает ее новый адрес. Использование 301 редиректа является надежным способом, но в случае отсутствия доступа к настройкам сервера альтернативой ему является настройка главного «зеркала» в панели вебмастера Яндекса и Google.

5. Другие технические характеристики

В качестве дополнительных рекомендаций технической оптимизации можно указать настройку robots.txt и sitemap.xml, рекомендации по работе с flash и frame, обоснование формирования ЧПУ («человеко-понятных урлов»), устранение идентификаторов сессий и динамических URL и др.

Выполнение всех рассмотренных рекомендаций требуется в первую очередь для того, чтобы обеспечить полноценное индексирование ресурса.

Текстовая составляющая

В механизме ранжирования самой важной является оценка релевантности содержания страницы запросу, который ввел пользователь. Для составления индексных баз и определения релевантности поисковые системы используют контент, текст запроса и некоторые элементы html-разметки. Поэтому первое, с чем необходимо работать при продвижении ресурса, — это текстовая составляющая веб-страницы.

Текст должен быть интересен и полезен пользователю, при этом количество вхождений и расстановка ключевых слов должны соответствовать требованиям поисковой системы. Если принципы оптимизации будут нарушены, поисковые системы могут применить санкции в виде специализированных фильтров (подробно речь о них пойдет в третьей главе). Оптимизация касается всего содержимого страницы: основного текста, заголовков текста и страницы, меню, подписей к картинкам, мета-тегов и т.д. (см. рис. 3).

Изменения, связанные с контентом, вступают в силу быстрее других факторов, влияющих на ранжирование: иногда сразу же после переиндексации, иногда через 2-3 недели из-за пересчета и снятия фильтров.

Так как содержимое документа и html-разметка влияют на релевантность, а результат от изменений контента заметен в скором времени, существует соблазн добавить больше ключевых слов, выделить значимыми тегами продвигаемые слова или написать внушительный объем текста.

Но поисковая система считает такую «псевдооптимизацию» недопустимым инструментом в развитии сайта и применяет санкции (фильтры). Они проявляются в падении позиций и снимаются, когда переоптимизированные тексты будут исправлены и произойдет пересчет соответствующих параметров по сайту.

рис.3

Ссылочная составляющая

Сайт-акцептор (принимающая сторона) — это ресурс, на который ведет ссылка. Страницу с размещенной на ней ссылкой, ведущей на сайт-акцептор, называют страницей-донором.

Наличие большого количества ссылок, ведущих на определенный сайт с других ресурсов, увеличивает шансы попадания на него посетителя. Поисковые системы учитывают переходы пользователей для выделения одного документа среди множества, то есть используют принцип цитируемости.

Индекс цитирования (ИЦ) — показатель, который указывает на значимость данной страницы и вычисляется путем учета ссылающихся на нее ресурсов. Данная характеристика учитывает только количество ссылок на ресурс, но не отражает их структуру в каждой тематике. Ссылки с малой и большой значимостью могут иметь одинаковый индекс цитируемости, что не является правильным. Поэтому был введен термин «фактор популярности» (англ. Popularity Factor), он же «взвешенный индекс цитирования» или «вес ссылки». В разных поисковых системах этот фактор называется по-разному: PageRank в Google, вИЦ в Яндексе, ИЦ в Апорте. Также существует тематический индекс цитирования (тИЦ), учитывающий тематику сайтов, ссылающихся на ваш ресурс.

Алгоритмы, применяемые современными поисковыми системами для оценки ссылочной составляющей, претерпели большие изменения, но качество и количество ссылок сохранило свое прямое влияние при выделении страницы среди множества копий. Чем авторитетнее будет страница-донор, схожая с сайтом по тематике, тем больший вес она ему передаст.

Существует множество способов наращивания ссылочной массы: размещение статей, новостей, пресс-релизов, написание постов в блогах, социальных сетях и работа с биржами ссылок. При подборе площадок- доноров необходим опыт в оценке, аналитические способности при сборе параметров и тщательный отбор необходимых сайтов. Эта функция представлена в сервисах автоматизированного продвижения сайтов: система Rookee не только помогает подбирать площадки, но и автоматизирует работу с ними, экономя при этом бюджет и время.

Большое значение имеют не только внешние ссылки, но и внутренняя перелинковка. Если правильно распределить вес всего сайта по целевым (продвигаемым) страницам, то можно существенно сократить затраты на внешние ссылки.

Геозависимость и геонезависимость запроса

Яндекс стремится персонализироваnm выдачу. Одним из шагов на пути к этому является учет региональности в результатах поиска. Учет региональности состоит из определения следующих параметров:

• геозависимость запросов;
• регион сайта;
• регион пользователя.

Геозависимость запроса

Геозависимость запроса показывает, важен ли пользователю при поиске региональный таргетинг. Пример геонезависимого запроса — «рецепт приготовления пиццы». Вводя геозависимый запрос «заказ пиццы», пользователь, скорее всего, желает увидеть в результатах выдачи сайты того региона, в котором он находится. Коммерческие запросы, как правило, являются геозависимыми.

У поисковой системы Яндекс существует специальный сервис проверки геозависимости запроса:

рис.4

Проверить геозависимость запроса можно и без данного сервиса. Для этого необходимо:

• проверить, есть ли внизу страницы с результатами выдачи фраза

«При поиске отдано предпочтение сайтам из …». Если данная фраза присутствует, то запрос геозависимый, если нет, то запрос геонезависимый.

• проверить, указан ли рядом с сайтами город. Если указан, то запрос

является геозависимым. Если не указан, то запрос — геонезависимый. (К данному способу проверки не относятся запросы с указанием города, например «пластиковые окна Москва», так как они уже содержат регион и не являются геозависимыми.)

Система Rookee при добавлении нового запроса автоматически определяет, к какому типу он принадлежит. Информацию о геозависимости нескольких запросов можно узнать одновременно, добавив их целой группой.

Региональность сайта

Региональная принадлежность сайта является важным фактором ранжирования. Если пользователь ниже строки поиска установит галочку около города, например, «в Новосибирске», то сайты, которым не присвоен данный регион, не будут показаны. Если пользователь не установит галочку, ресурсы, имеющие региональную принадлежность, будут иметь преимущество.

Определяя регион ресурса, поисковая система учитывает контакты, указанные на нем, IP-адрес, регионы сайтов-доноров, вхождения слов в анкорах ссылок и т.д.

Чтобы Яндекс определил для сайта корректную региональную принадлежность, необходимо:

• разместить на странице «Контакты» как можно более полную

информацию: адрес, номер телефона с кодом города, почтовый индекс. Эти данные должны быть размещены текстом, а не в виде изображений. Иначе робот Яндекса не сможет проиндексировать основное содержимое страницы «Контакты». Если у организации есть филиалы в других городах и странах, это также необходимо указать.

• добавить сайт с актуальными адресами в Справочник Яндекса. Важно

ввести не только главный, но и другие адреса компании, чтобы робот присвоил сайту все нужные города. Добавить адреса можно на странице Яндекс.Вебмастера.

• посмотреть, к какому городу отнесен сайт, можно в Яндекс.Вебмастере в

разделе «География сайта», «Регион сайта». Если ресурс не был отнесен ни к одному городу либо был отнесен неправильно, можно установить нужный регион вручную в Яндекс.Вебмастере. Если сайт присутствует в Яндекс.Каталоге, то запрос на изменение региона нужно отправлять модераторам Яндекс.Вебмастера.

Модераторы Яндекса могут отказать в присвоении региона, если на сайте:

• размещены несуществующие контактные данные;
• указан юридический, а не фактический адрес;
• страница с контактными данными заполнена частично.

Регион необходимо указывать как можно более точно. Например, если ваш сайт относится к городу Тольятти, то рекомендуется установить именно этот регион, а не «Россия» или «Самарская область».

рис.5

Поведенческие факторы

Поведенческие факторы — совокупность пользовательских характеристик, участвующих в оценке сайта при ранжировании. Благодаря им поисковая система может определить заинтересованность посетителей в ресурсе, его привлекательность именно для человека, а не для машины.

Сбор информации о поведении посетителя (о пользовательских характеристиках) Яндекс может производить непосредственно из поисковой выдачи (отношение кликов к показам, возвращения в выдачу, время, количество просмотренных результатов и другое), из Яндекс.Метрики metrika.yandex.ru/ и Яндекс.Бара bar.yandex.ru/. Для Google таким инструментом является Google Analytic. www.google.com/analytics/

рис.6

Для отслеживания поведения посетителей владелец сайта может использовать отчеты систем веб-аналитики, подключаемые непосредственно к сайту. Самые популярные из них — Яндекс.Метрика и Google.Analytics.

рис.7

Яндекс.Метрика metrika.yandex.ru/ — бесплатный сервис, который позволяет измерять посещаемость сайта и анализировать поведение пользователей. В сервисе Яндекс.Метрика обновление отчетов происходит каждые 5 минут. Для сбора статистики на всех страницах сайта устанавливается код счетчика.

Google Analytics www.google.ru/analytics/ — бесплатный сервис, с помощью которого владелец веб-ресурса может отслеживать подробную информацию о действиях посетителей: откуда они приходят, как долго находятся на сайте и т.д. Статистика собирается на сервере Google через счетчик, устанавливаемый на всех страницах сайта.

рис.8

Среди поведенческих параметров можно выделить те, на которые следует обращать внимание в первую очередь:

• параметры удовлетворенности пользователя:

— количество просмотренных страниц сайта, среднее время просмотра страницы, наиболее популярные страницы, показатель отказов,

количество вернувшихся посетителей, скорость загрузки и т.д.;

• параметры поведения пользователя в поисковой выдаче:

— кликабельность сниппета, количество пролистанных страниц и т.д.;

— объем трафика и его детализация;

• миноритарные признаки.

рис.9

Официальных сведений по тому, какие именно параметры учитывает поисковая система, нет. Однако, анализируя указанные выше показатели и проводя соответствующие корректировки (как на сайте, так и организуя внешние работы), можно повысить эффективность продвижения сайта.

Влиять на поведенческие факторы нужно только естественными методами, то есть необходимо развивать и улучшать веб-ресурс, добавляя на него полезную и уникальную информацию, создавая дополнительный функционал, улучшая юзабилити. Таким образом, если вы работаете над повышением конверсии сайта и его посещаемости, значит, вы автоматически улучшаете и поведенческие показатели (естественным образом).

Прибегать к методам искусственной накрутки поведенческих факторов крайне опасно. Наибольшую угрозу представляют биржи кликов и роботы-накрутчики, имитирующие действия посетителей. За попытки манипулирования поведенческими метриками сайта поисковая система накладывает санкции (фильтры), выражающиеся в резком падении позиций.

рис.10

Восстановление позиций сайта может занимать до полугода. Поэтому тщательно следите за статистическими показателями не только ради оценки конверсии, но и для для отслеживания недобросовестного поведения конкурентов. Если вы заметили искусственную накрутку посещений вашего ресурса, проведите расследование, заблокируйте соответствующие IP-адреса и напишите жалобу в службу поддержки Яндекса.