Кейс: Как медиапроекты Mail.Ru Group работают с поисковым трафиком

Специалист по поисковой оптимизации медиапроектов Mail.Ru Group Владимир Харев рассказал редакторам рубрики Growth Hacks о том, как устроен процесс поисковой оптимизации проектов в Mail.Ru Group.

Медиапроекты Mail.Ru Group - это 10 проектов («Афиша», «Дети», «Леди», «Здоровье», «Недвижимость», Cars, Hi-Tech, «Авто», «Новости», «Погода») и 13 доменов. Ежедневно к нам приходит более 10 миллионов посетителей, причем миллионы переходов совершаются с поисковых систем. Так, по данным «Рейтинга Mail.Ru», в феврале 2016 года с поисковых машин было более 90 млн переходов. Команда поискового продвижения всех этих проектов состоит из двух человек.

Отслеживаем изменения на сайтах

В больших проектах релизы происходят зачастую по несколько раз в неделю, поэтому важно отслеживать изменения на сайте, которые могут повлиять на сканирование, индексирование и ранжирование поисковыми системами.

Для этого мы реализовали автоматический мониторинг различных типов страниц проекта.

Каждые сутки, например, проверяется:

• ответ сервера (200 ОК);
• изменение Title и мета-тега Description, тега rel=canonical, тега rel=alternate;
• изменения в robots.txt (бывали случаи, когда разработчик по ошибке удалял файл, или, еще хуже, запрещал весь сайт от индексирования);
• изменения в XML sitemap.

Благодаря такому мониторингу, мы можем понять, какой релиз привел к фатальным изменениям в коде и затронул важные части сайта для поисковой оптимизации и оперативно поднять историю тасков релиза, найти ошибки и исправить их.

Аналогично раз в сутки проверяются важные выгрузки - например, XML с оригинальными текстами для «Яндекс. Вебмастера» (экспортируется раз в час через API). Важно показывать поисковой системе, что ваш сайт - первоисточник контента. У нас часто «заимствуют» контент, и другого способа с этим бороться пока не придумали.

Эффективность «Оригинальных текстов» «Яндекса» для закрепления авторства неизвестна, но для крупных проектов с большим потоком своих публикаций это доступный инструмент для автоматизации без применения спамовых методик.

Как не потерять имеющийся трафик

Полезно вести список всех изменений на сайте, чтобы можно было понять, что могло привести к росту или падению трафика.

В работе над сайтами мы (менеджеры, разработчики, верстальщики) используем продукты Atlassian - Jira и Confluence. Отфильтровав задачи проекта, можно всегда отследить, какие таски выкатывались за последнее время и оценить их влияние на трафик.

SEO - это часть продукта

Бывают компании, где SEO конфликтует с продуктом. У нас на каждом этапе, когда дизайнеры рисуют макет какого-то нового раздела, новой фичи, мы просим менеджера проекта показывать его нам.

Например, когда запускался Cars Mail.Ru, мы обсуждали создание различных типов страниц (модели автомобилей, поколения), и на этом этапе согласовывали с менеджером список типов страниц исходя из поискового спроса, который нам нужно охватить. Чтобы была, например, страница отзывов про модель Audi 2010 года.

Если говорить несколько шире, мы стараемся дать менеджменту наиболее полную информацию о текущей ситуации на поисковом рынке. То есть мы можем более-менее точно спрогнозировать, какой будет спрос, даже с учетом сезонных факторов по автомобильной тематике, или по детской тематике, или еще по какой-то.

Дальше можно попробовать спрогнозировать, какую часть этого спроса мы можем получить на один из наших проектов. Менеджменту становится несколько проще принимать решения о внедрении, об удалении, о модификации того или иного раздела, типа страниц и тому подобных вещей.

Иногда менеджеры выступают против наших рекомендаций, например, против перемещения какого-то блока наверх. Мы видим, что этот блок с перелинковкой, с внутренними ссылками. Если по нему будут кликать живые люди, трафик на страницы может вырасти. Есть гипотеза, что это учитывается. А руководитель проекта считает, что там есть другие, более важные для него блоки. В конечном итоге он принимает решение. Однако одним из KPIs менеджеров является внешний, в том числе поисковый, трафик, поэтому они стараются идти навстречу.

Важно выстроить взаимосвязь между изменениями на проекте и трафиком. Например, могут наложиться апдейты поисковых систем или какие-то глобальные изменения на сервисе. Поэтому мы стараемся взять какой-нибудь кластер страниц, чтобы с ним в этот момент ничего больше не происходило. Например, когда мы меняли URL у сериалов на «Афише» (есть мнение, что более короткий URL, который ближе по уровню к главной, лучше, чем какой-нибудь длинный с кучей слэшей). Взяли целый раздел сериалов, изменили урлы и оценивали именно изменение трафика: как изменился трафик на странице сериалов, на фильмы или на сайт в целом.

Мы не занимаемся закупкой ссылок, поэтому внутренняя оптимизация - единственный инструмент продвижения, который мы используем.

Улучшаем функциональность существующих разделов

Фокусируясь на улучшении сайтов для пользователей, мы делаем сайт полезнее для поисковых систем.

В качестве примера, в прошлом году мы дали пользователям проекта Cars Mail.Ru возможность комментировать отзывы об автомобилях:

Порой там разгораются жаркие дискуссии.

Благодаря внедрению этой фичи мы увеличили объем контента на страницах, сделали их не статичными а изменяющимися, увеличили время на сайте и глубину просмотров, а также возвраты из непоисковых источников трафика (автору отзыва приходит уведомление о новом комментарии на почту). Поисковые роботы стали ходить на такие страницы чаще, пользователи - получать больше интересного контента по теме. Поисковый трафик на раздел с отзывами также увеличился.

Используем потенциал внутренних ссылок

Есть гипотеза, что одним из способов увеличения авторитетности страниц для поисковой системы является повышение ее важности внутри сайта. Для улучшения связности страниц между собой и влияния на ссылочные факторы мы используем контекстные блоки. Один из примеров - блок похожих тем на странице топика форума проекта «Дети»:

На проекте Cars в разделе каталога автомобилей это могут быть популярные марки и модели автомобилей в данном регионе:

На проекте «Недвижимость» на карточке квартиры или дома это могут быть похожие по географическому признаку объекты:

В блоке показываются ссылки на списки, в которых присутствует объявление.

Сначала, конечно, надо проанализировать поисковый спрос и создать соответствующие страницы под определенные типы запросов.

Работаем с событийными запросами

Для информационных проектов важна работа с будущим поисковым спросом. Работая с будущими запросами, вы сможете собрать трафик из-за всплеска интереса к какому-то событию. Например, под премию Оскар редакция создала раздел.

В пике было 35 тысяч переходов с поиска (кроме того, мы получили поисковый трафик на страницы новостей «Афиши», news.mail.ru и другие проекты).

Еще один пример работы с будущим спросом - презентация Apple - событие, которое генерирует много трафика. Для поиска новых ключевых слов мы используем инструмент «Статистика запросов» и «Яндекс.Wordstat».

В поисковых запросах, например, про модели телефонов встречаются одни и те же фразы - дата выхода, характеристики, цены в Москве и прочее.

Была создана страница товара в каталоге с известными на данный момент характеристиками. Кроме того, мы создали страницу основной модели, которая будет представлена на презентации, где по тегу показывались новости про нее.

И страницы новостей, относящихся к событию:

• https://hi-tech.mail.ru/news/apple-more-on-9sept/
• https://hi-tech.mail.ru/news/apple-iphone-6s-6s-plus-event/

В день презентации была выложена страница трансляции.

Результат в день трансляции (переходы со всех поисковых систем):

• /news/apple-iphone-6s-6s-plus-event/ - 58 242.
• /iphone_6s_live/ - 53 534.

На проекте Cars мы создаем страницы под будущие модели автомобилей. Например, Lada Vesta. Точно так же указываем все известные на данный момент характеристики автомобиля. Возраст страницы - важный фактор ранжирования в высококонкурентных тематиках.

Недавно я увидел сайт в поисковой выдаче, на котором созданы все возможные страницы под 2016 год, они опубликовали их год назад и сейчас собирают 100 тысяч переходов в сутки.

Случается так, что из-за роста интереса аудитории к какой-то теме «выстреливают» старые страницы. Это, например, произошло на проекте «Здоровье» во время эпидемии гриппа в начале года (на графике суммарные переходы с поисковых систем):

Другой пример - допинговый скандал с участием Марии Шараповой и рост интереса к определенным медицинским препаратам из-за этого:

Cрез с переходами с поисковых систем

Отслеживаем индекс сайтов

XML sitemap полезно разбивать на несколько веток, каждая из которых соответствует определенному типу страниц. Так удобно отслеживать в Google Search Console индексирование страниц и анализировать, что с ними не так (мало контента, дублированный контент, технические ошибки и прочее).

Используя этот инструмент, мы нашли на одном проекте целый раздел, который частично дублировал другие. Выкинули страницы из Sitemap и запретили его к индексированию, чтобы не тратить ресурсы ботов на индексирование более полезных страниц.

Оптимизируем мобильные версии

Мы не используем адаптивную верстку, вместо нее у нас есть мобильные версии каждого проекта. При этом используется две схемы:

1. Десктопная и мобильная версии сайта находятся на одинаковых URL, при этом сервер отдает заголовок Vary: User-Agent, в зависимости от User-Agent отдается разный код.
2. Мобильная версия находится на отдельном поддомене, например touch.deti.mail.ru. В этом варианте настраивается тег rel=alternate на десктопной странице и rel=canonical на мобильной. В зависимости от User-Agent происходит 302 редирект на мобильную версию.

Постепенно мы переводим все проекты к первой схеме. Кроме того, важно давать пользователю возможность принудительно переключиться на ту или иную версию (у нас есть такие ссылки в подвале).

Чек-лист для новых релизов и регулярной проверки состояния сайта

При запуске новых разделов мы проверяем каждый тип страниц на соответствие чек-листу. Кроме того, проводим регулярные проверки сайта в целом.

Некоторые из пунктов проверки:

• URL с ЧПУ.
• Наличие микроразметки, если она нужна (страница рецепта, фильма, сериала, отзыва).
• Корректность отдачи мобильной верстки для мобильных user-agent (к слову, на некоторых проектах мобильный поисковый трафик уже превышает десктопный).
• Проверка скорости загрузки.
• Mobile-Friendly Test.
• HTTP vary заголовок при разном контенте в зависимости от user-agent.
• Корректность тега rel=canonical.
• Наличие страницы в XML sitemap.
• Title и Description.
• Разметка для соцсетей (теги og:title, og:image и прочем).
• Корректность редиректа со старых URL.
• Отсутствие дублированных страниц.
• Закрытие блоков с нетематическим контентом в «noindex», включая рекламу.
• При использовании HTTPS - отсутствие подключаемых ресурсов по HTTP (Mixed content).

Этим же списком мы руководствуемся при редизайне проектов. Большие сайты часто удаляют, реформируют, запускают новые разделы и нам приходится смотреть на все изменения с точки зрения поисковых систем, чтобы не потерять трафик. В этом нам помогает данный чек-лист.

Иногда полезно просканировать сайт с помощью Netpeak Spider. Там видно все мета-теги страниц и битые ссылки.

Обучаем frontend и backend-разработчиков

Благодаря обучению разработчиков и верстальщиков мы избегаем типичных ошибок: дублирования страниц, отсутствия важных тегов (например, Н1, rel=canonical) в верстке. Разработчики знают, что новая страница должна оперативно появиться в XML sitemap, удаленная - исчезнуть, или, например, переезд раздела на новые URL должен сопровождаться внедрением редиректов 301 Moved Permanently.

Отслеживаем трафик с поисковых систем

Мы не мониторим позиции проектов по ключевым словам (за исключением экспериментов), а смотрим на поисковый трафик по разделам (кластерам) и в целом по сайту. Персонализация результатов поиска, огромное семантическое ядро (вследствие появления новых страниц, например, моделей телефонов у Hi-Tech Mail.Ru), большая доля НЧ-запросов - в этой ситуации смысла смотреть на позиции мало. Мы сравниваем трафик с прошлым месяцем и аналогичным месяцем прошлого года.

Также отслеживается взаимодействие пользователей с элементами на странице и конверсии (например, оценка фильма, добавление отзыва про автомобиль, добавление рецепта на «Леди») через события Google Analytics.

Следим за трендами

В конце 2015 года Google объявил о проекте AMP - Accelerated Mobile Pages. Если коротко, то это урезанная версия HTML, которая быстро загружается и обрабатывается мобильным браузером. AMP-страницы открываются без перехода на сторонний сайт прямо в поисковой выдаче Google. Мы начали внедрять это у себя, начали с проекта «Здоровье». Пример такой страницы.

Это не замена мобильной версии, а дополнение к ней. Эффективность данного формата пока не понятна, но мы планируем внедрить его на других проектах, которые часто появляются в новостном блоке Google. Сейчас тестируем его на проектах «Авто» и «Недвижимость», и готовим к выкладыванию AMP-страницы на остальных проектах.

Заключение

Переходы с поисковых систем в рунете по данным liveinternet перестали активно расти в 2015 году (кроме того, увеличивается доля мобильных операционных систем). Данные Liveinternet (срез по России):

То есть, чтобы расти, нужно «отъедать» трафик у конкурентов.

В целом, считаю, что рост аудитории информационного сайта возможен благодаря:

• создания новых страниц под неохваченный поисковый спрос.
• улучшения качества страниц и сайта в целом.
• анализа эффективности трафика.
• работы над событийными запросами.
• PR бренда для роста брендированных поисковых запросов.

Вектор будущего развития мы видим в работе над качеством сайтов, соответствии ожиданиям пользователей, придумывании новых фич и разделов. Это положительно оценивается поисковыми системами. Ну и не забываем про важность технической оптимизации.

Буду рад услышать ваше мнение и опыт в работе над продвижением больших сайтов.

Audi