7 способов измерить эффективность новой функции

Андрей Баклинов, создатель сайта об интернет-маркетинге Boosta.ru и специалист по конверсии в Forex Club, перевел для vc.ru статью о семи способах измерения эффективности новой функции.

Интересно, а что вы делаете после того, как «релизите» важную фичу в своем проекте? Измеряете ее эффективность? Общаетесь с целевой аудиторией, чтобы понять, нужна она им или нет? Полезна она им или нет? Задайте этот вопрос сами себе. А потом прочитайте, как правильно нужно анализировать новые фичи.

Представим ситуацию, что несколько месяцев вы трудились над новой фичей. Вы зарелизили ее. Прошел месяц после релиза. Логично, что нужно самому себе задать вопросы:

• Как релиз новой фичи повлиял на развитие проекта?
• Пользователи используют новую фичу?
• Она улучшила их процесс взаимодействия с сервисом?
• Новая фича влияет на активацию, конверсию в платных клиентов, ретеншн?

Чтобы ответить на эти вопросы, нужно посмотреть на метрики проекта (конечно, если вы их собираете в сервисах типа Google Analytics, Amplitude, Mixpanel). Если у вас на основных фичах проставлены события, вы собираете информацию о действиях пользователей, то сделать это будет просто.

На этом теория закончилась. Дальше будет описание такого анализа на основе реального проекта. Тем, кто не любит влезать в такие детали развития проекта, даже не советую читать дальше. Все равно вряд ли вы что-то станете делать в своем бизнесе. А всем остальным рекомендую сконцентрироваться всего на три минуты, и во время прочтения статьи проецировать все семь шагов на свой проект.

Погнали.

В качестве сервиса для аналитики используется Amplitude (у него есть немаленький бесплатный тариф, если что. В качестве альтернативы - Google Analytics (бесплатный) и Mixpanel (бесплатный с лимитами).

В качестве примера используется музыкальное приложение. Основные функции приложения: можно находить музыку, слушать ее и создавать плейлисты. Месяц назад была реализована новая фича - возможность делиться музыкой с друзьями, которые тоже скачали это приложение.

Конечно, создатели приложения надеятся, что это положительно повлияет на вовлечение и привлечение аудитории. По идее, функция «Поделиться» вовлекает пользователей в приложении (особенно с учетом того, как мы все сидим на игле социальных сетей и постоянно делимся статьями, видео, музыкой). Это добавляет некий социальный компонент.

А теперь посмотрим, соответствуют ли ожидания реальности.

Первый шаг: Меряем основные показатели использования новой фичи

Пользователи вообще используют новую фичу? Есть несколько показателей, которые ответят на этот вопрос за вас:

• Сколько всего раз была использована эта функция?
• Сколько уникальных пользователей воспользовалось этой функцией?
• Доля активных пользователей, которые воспользовались новой функцией?
• Сколько в среднем пользователи используют новую фичу за один день?

Анализируем, сколько раз вообще использовали нашу новую фичу:

На изображении видно, что после релиза (1 октября) в среднем за день музыку «расшаривают» от 1000 до 1700 раз. Окей, уже неплохо. Мы уже понимаем, что кто-то ее точно использует - пилили несколько месяцев не зря.

А что насчет уникальных пользователей? Мало ли это только 100 преданных пользователей каждый день пользуются новой функцией. Ведь всегда найдется основное ядро аудитории (не больше 5%), которые будут активнее других, но деньги то нужно зарабатывать на всей аудитории.

Анализируем, сколько уникальных пользователей воспользовались новой фичей:

600-800 пользователей воспользовались новой фиче. Теперь у нас еще больше информации. Но, если вашим сервисом пользуется 100 тысяч пользователей каждый день, то эта цифра будет ничтожной. Поэтому ограничиваться лишь ей бессмысленно. Нужно понять, сколько это по отношению к общему ежедневному количеству уникальных пользователей.

Анализируем долю пользователей, которые воспользовались новой фичей по отношению к общему количеству:

Печаль. Всего 0,04% от ежедневной активной аудитории заценили нашу новую фичу. Совсем печаль. А ведь мы возлагали на нее большие планы (увеличение вовлеченности, все дела).

Вот на этом этапе уже можно понять, что время на разработку потратили зря, и никому новая фича даром не нужна.

Но. На этом этапе нельзя останавливаться. Как ни крути, но у нас есть часть аудитории, которая заценила возможность делиться музыку.

Самое время начать изучать не саму фичу, а пользователей, которые ей воспользовались. Отсюда мы узнаем, на каком этапе пользователь пользуются функцией, как часто они это делают и как все эти знания можно проецировать на остальную аудиторию.

Анализируем, сколько раз в среднем в день наши 600-800 человек «расшаривают» музыку:

Второй шаг: «Погружаемся» в исследование пользователей, которые поделились музыкой

В нашем музыкальном приложении можно делать три вида репостов:

• Поделиться конкретной песней.
• Поделиться альбомом исполнителя.
• Поделиться всем плейлистом.

Анализируем тип репоста:

Супер. Очередная порция полезной информации о наших пользователях. Практически никто не делится плейлистами. Отдельные песни определенно лидируют.

Возможно, и не стоит показывать кнопку «Поделиться» на плейлистах в таком случае? Может, стоит сконцентрироваться только на песнях и допилить сам процесс до идеала? Это вам вопросы на подумать.

Так, дальше, у нас есть четыре вида пользователей: Free (халявщики), Student (специальный тариф для студентов), Family и Premium.

Интересно узнать, какие же типы пользователей наиболее склонны к «расшариванию» музыки? Возможно, семейным вообще не нужно показывать эту фичу, а стоит предложить что-то более подходящее?

Анализируем, какие типы пользователей делают репосты:

Получается довольно очевидный результат. Студенты, которые каждый день находятся в самом центре социума (одногруппники, активная студенческая жизнь - рай) чаще всего делают репосты. Конечно, им есть, с кем делиться треками.

С другой стороны видно, что бесплатные пользователи вообще забили на эту фичу. Меньше 50 человек ежедневно пользуются ей.

Третий шаг: Пытаемся понять, что пользователи делают до того, как поделиться музыкой

Благодаря этому можно будет найти шаблоны поведения людей, которые делают определенные действия. В нашем случае - это расшаривание музыки. В вашем случае - это может быть подписка на платный тариф, покупка и все что угодно. По сути, важное целевое действие.

Анализируем, какие действию совершают пользователи, прежде чем поделиться музыкой:

Да, логично, что до этого они слушают музыку. Это можно было и без использования сервиса понять. Но второе по популярности действие до расшаривания - это добавление песни в избранное (Favourite song). И вот эта информация уже не такая очевидная, но очень, еще раз повторюсь, очень важная.

Что же мы сделать на основе второго факта? Раз пользователи с гораздой большей вероятностью делятся песнями после добавления в избранное, то именно в этот момент мы можем показывать event-based (привязанный к определенному событию) попап (уведомление) с предложением «расшарить» ее своим друзьям.

Ведь именно в этот момент человек наиболее лоялен к сервису. Он уже сделал важное действие. И сделать еще одно подходящее действие будет гораздо проще.

Вполне вероятно, что добавление такого попапа с предложением значительно повлияет на количество расшариваний.

Четвертый шаг: Делаем когортный анализ - сравниваем наших активных пользователей с остальной аудиторией

Для тех, кто не в теме когортного анализа: когорты - это группы пользователей, которые имеют общие характерные черты (например, зарегистрировались в январе, совершили покупку 8 марта, использовали определенную фичу).

Выбираем условия для когортного анализа:

Для тех, кто не знает английского, поясню. На изображении выбраны пользователи, которые поделились музыкой (ShareMusic) не менее одного раза в период с 1 октября.

Когорта готова. В следующих трех шагах весь анализ будет крутиться вокруг этой когорты.

Пятый шаг: Анализируем влияние новой фичи на ретеншн (удержание пользователей)

Нет ничего важнее удержания. Привлечение пользователей - это не самое важное. Привлекайте хоть тысячи новых пользователей каждый день, если вы не сможете их удержать, то рано или поздно придется «хоронить» проект.

Чем лучше удержание, тем чаще пользователи пользуются сервисом. Тем больше и чаще вы можете пытаться конвертировать их в платных пользователей. Тем больше лояльность этих пользователей. Тем больше денег можно взять с них.

Чтобы понять, как новая фича влияет на удержание, нужно сравнить две когорты. Первая когорта - та, которую мы сделали выше (пользователи, которые поделились песней не менее одного раза) против остальной аудитории, которая не воспользовалась этой функцией.

Чтобы анализ был более полезным и точным, лучше смотреть на ретеншн пользователей, которые используют эту фичу в первый день знакомства с сервисом.

Анализируем ретеншн:

Голубая кривая - это пользователи, которые воспользовались фичей в первый день после регистрации. Как видите, разница невероятная.

Только 23% пользователей, которые сделали репост, покидают сервис на первый день. В то время как 90% пользователей, которые не сделали репост, уходят из сервиса уже на первый день.

Если смотреть в перспективу - на удержание в течение 30 дней, то здесь такая же ситуация. 40% против 5%. Это нереально крутая информация. На этом этапе можно сказать, что эта фича помогает удерживать целевую аудиторию.

Шестой шаг: Анализируем влияние новой фичи на основные показатели бизнеса

Если изменения (новые фичи) не влияют на основные метрики бизнеса, то неважно, как увеличиваются показатели активации, конверсии на первых этапах, ретеншна и прочее. В конечном счете, должны расти бизнес-показатели.

Наше приложение зарабатывает на платных подписках. Поэтому логично, что мы должны измерить влияние новой фичи на конверсию в платные подписки.

Опять берем нашу сформированную когорту и сравниваем ее с остальной аудиторией:

Синий столбик - это когорта пользователей, которые поделились музыкой. Конверсия в три раза больше, по сравнению с остальными пользователями. Разница в конверсии огромная. Количество действий достаточное, чтобы сделать вывод, что этот результат является достоверным и статистически значимым.

Исходя из этой информации мы точно понимаем, что пользователи, которые делятся музыкой, гораздо лучше конвертируются в платных клиентов. Они понимают ценность сервиса.

Последний шаг: Измеряем влияние новой фичи на вовлечение аудитории

Итак, мы уже знаем, что это положительно влияет на удержание и бизнес-показатели компании. Но было бы полезно еще и узнать, как это влияет на вовлечение аудитории - как часто они пользуются приложением.

Анализируем количество сессий, которые совершают пользователи за день:

На изображении видно, что количество сессий у таких пользователей практически в два раза больше: 14 против 8. Можно также проанализировать, какой процент пользователей остается активным (заходит N-дней) в течение недели:

Как видно, 45% пользователей (против 27%), которые «расшаривают» музыку, заходят в приложение каждый день. Опять показатель практически в два раза выше.

Подводим итоги нашего анализа:

• Только 0,05 пользователей используют новую фичу.
• Больше все всего они делятся треками, а не альбомами и плейлистами.
• Перед репостом 40% пользователей слушают песню, а 30% добавляют ее в избранное.
• Пользователи, которые используют новую фичу, гораздо лучше конвертируются в платных клиентов, а показатель ретеншна у них выше в 8 раз через 30 дней.
• К тому же они в целом практически в два раза активнее в сервисе, и гораздо чаще пользуются приложением.

Выводы

Итак, в середине статьи мы получили цифру, что только 0,05% пользователей используют новую фичу. Цифра была печальная, не соответствующей ожиданиям. Если бы мы остановились на том этапе, то сделали бы ошибку. Потому что в итоге мы поняли, что она очень положительно влияет на другие показатели. И главное - на конверсию в платных клиентов.

И следующим шагом будет поиск идей, для того чтобы представить эту фичу в нужное время и в нужном месте. Чтобы была релевантной и несла ценность для пользователей. Тогда, вполне возможно, что доля такой аудитории сильно увеличится.

Следующий шаг - тестирование, измерение, анализ, выводы. Вся информация есть. Теперь вы можете генерировать идеи на основе этих данных. Кстати, при реализации новых идей не забывайте проводить A/B-тестирование, чтобы понимать, как та или иная фича влияет на метрики.

Возможные идеи:

• Показывать попап (уведомление) после добавления песни в избранное с предложением расшарить ее друзьям.
• Информировать пользователей на этапе онбординга о том, что есть такая фича и чем она может быть полезна.

Это всего два совета, которые лежат на поверхности. А вы сами, с командой, можете сделать брейншторм и придумать гораздо больше интересных вариантов. Не забудьте только потом приоретизировать их и запустить тесты.

Надеюсь, эта статья оказалась полезной. Лично я считаю ее таковой.