Когнитивные искажения в аналитике: как уже имеющиеся данные мешают эффективно оценивать игру
Ведущий аналитик компании Devtodev Василий Сабиров написал для рубрики «Рынок игр» колонку о том, каким когнитивным искажениям подвержены специалисты в его сфере. Сабиров разобрал основные отклонения и показал, как они мешают работать аналитикам.
Вы как аналитик можете быть сколь угодно прокачаны в сборе данных и методах анализа, однако миновать «большой эмоциональный рандомайзер» бывает очень трудно: вы в любом случае пропускаете данные и результаты анализа через свою голову, а значит, принимаете решения, основанные на эмоциях, незакрытых гештальтах, предыдущем опыте. Таким образом, вы подвергаете данные когнитивным искажениям (КИ).
Когнитивные искажение - это научное понятие, означающее систематические отклонения в поведении, восприятии и мышлении, обусловленные субъективными предубеждениями и стереотипами, социальными, моральными и эмоциональными причинами, сбоями в обработке и анализе информации.
Особо отмечу те когнитивные искажения, которые могут вести к ошибочным решениям именно в области аналитики. Я приведу примеры, а вы уже сами решайте, подвержены ли вы им или нет, бороться с ними или оставить как есть.
Предвзятость подтверждения - тенденция искать или интерпретировать информацию таким образом, чтобы подтвердить имевшиеся заранее концепции. Пожалуй, это самое распространенное КИ среди аналитиков. Проводя анализ, специалист заранее формирует какие-то свои идеи относительно его результатов (ставит внутри себя ставку на исход), а затем трактует результаты анализа, исходя из этих идей, порой подгоняя результаты под свой ответ.
Пример: недельный показатель удержания вашего продукта после запуска оказался неожиданно низким (возьмем 5%). Незадолго до запуска вы предлагали поменять иконку, но никто не согласился. В итоге вы анализируете причины низкого удержания и начинаете видеть, что пользователи не заинтересованы вашим продуктом как-то сразу, с первых же событий, с обучения.
Вы идете в отдел разработки и ставите задачу на исправление иконки. А на самом деле причины могут быть абсолютно разными: от неудачного дизайна всего приложения или неуместного сеттинга до непонятного туториала или просто плохого баланса игры.
Частным случаем предвзятости подтверждения можно назвать эффект привязки - особенность принятия численных решений, вызывающая иррациональные смещения ответов в сторону числа, попавшего в сознание перед принятием решения.
Вы только что посмотрели фильм «47 ронинов», и он очень запал вам в душу. Настолько, что число 47 просто отпечаталось в вашем мозгу. И среди огромной таблицы вы видите лишь те показатели, в численной записи которых есть «47», не обращая внимание на другие метрики. Или, скажем, предлагаете добавить в игру АК-47 и персонажа игровой серии Hitman (агент 47).
Проклятие знания - затруднения у информированных людей при попытке рассматривать какую-либо проблему с точки зрения людей менее информированных. Разработчики приложений склонны переоценивать, насколько другие люди (среди которых и драгоценные пользователи) разбираются в их приложениях.
Ведь это же очевидно, что здесь нажать надо именно на зеленую кнопку, а здесь танк должен прыгнуть. Нет, не очевидно. В вашей голове уже есть понимание, сформированы соответствующие структуры и шаблоны, вы видите свой продукт каждый день (а также ночью во сне), а пользователь видит все это впервые. Что нужно сделать, чтобы пользователь понимал продукт так же, как и вы? Правильно. Все ему объяснить и разжевать.
Чтобы понять, правильно ли пользователь воспринимает то, что вы ему даете, есть несколько способов:
- Плейтесты. Прекрасное изобретение человечества, которое как раз и необходимо для того, чтобы избавляться от проклятия знания. Слушайте, что говорят пользователи, прислушивайтесь к обратной связи от каждого конкретного пользователя, и вы станете лучше понимать свой продукт.
- Анализ профилей пользователей. Вы можете увидеть последовательность действий каждого конкретного пользователя, не проводя отдельных дорогих плейтестов. Современные системы аналитики позволят вам увидеть продукт глазами конкретных людей.
Еще одним примером проклятия знания можно назвать коммуникацию между аналитиком и другими отделами. Аналитик говорит на своем языке и предполагает, что его все понимают. На самом же деле, поверьте, большая часть ваших коллег не знает, что такое ARPU и LTV, и уж тем более они никогда не слышали про модели ARMA или ARIMA.
Пример: когда-то мне пришлось презентовать математическую модель прогнозирования городским чиновникам. Я со страстью рассказывал про то, как хорошо работает эта регрессионная модель, как долго мы ее разрабатывали и тестировали. А потом меня спросили: «Мы ведь прогрессивный город, почему у вас модель регрессионная?»
Иллюзия прозрачности. Люди переоценивают способность других людей понимать их. Вопрос исключительно в коммуникации - вы уверены, что вас правильно поняли? Вы уверены, что вы правильно поняли? Может быть, есть смысл побеседовать еще?
Допустим, вы продюсер, и вы придумали новую классную игру. Вы собрали совещание и говорите: «Делаем игру про Соника Супер Ежика. Ну, ты же играл в нее, вот. Делаем точно такую же». И вы уходите в полной уверенности в том, что геймдизайнер вас понял. А теперь зайдите на сайт и ответьте на вопрос, какую из этих игр вы имели в виду?
Ретроспективные искажения. Имеются в виду искажение в восприятии сделанного выбора (тенденция помнить свои выборы как более правильные, чем они были на самом деле) и эффект знания задним числом (склонность воспринимать прошлые события предсказуемыми). Оба искажения можно описать фразой «Ну я же говорил».
Яркий пример: шквал заявлений от представителей игровой индустрии, которые сразу после успешного выхода игры Pokemon Go стали говорить, что это именно они придумали эту игру ранее. Хорошим ответом на эти заявления стала колонка Сергея Бабаева «Нет, вы не придумали Pokemon Go несколько лет назад».
Чтобы избежать таких искажений, я рекомендую вести подробный анализ всех изменений в проекте, желательно от самого его запуска. Вы будете знать, как каждое изменение повлияло на проект, какие метрики оно изменило, как это сработало на итоговые показатели (чаще всего - доход, реже - аудитория). Основывая последующие решения на результатах анализа предыдущих, вы сможете более точно выбирать наиболее эффективную гипотезу из нескольких вариантов. И никакое «Ну я же говорил» уже не прокатит.
Есть еще похожее КИ - эффект вклада. Это склонность переоценивать стоимость объекта, к созданию которого вы были причастны. Чтобы его избежать, опять же, ориентируйтесь на статистику, имейте под рукой четкий лог всех изменений и детальный их анализ.
Ошибка меткого стрелка из Техаса - выбор или подстройка гипотезы после того, как данные собраны. Мешает проверить гипотезу честно. Думаю, вы все знаете пример, когда стрелок стреляет по амбару, а затем в месте, где больше всего пробоин, рисует мишень. Часто, говоря про это КИ, еще упоминают Нострадамуса, пророчества которого подгоняются под свершившиеся события.
В аналитике такая ошибка встречается повсеместно. Допустим, вы делаете модель прогнозирования выручки и тестируете ее на тех же данных, на которых и обучали. По незнанию или по корыстному умыслу - это уже другой вопрос. Но факт в том, что результаты такого тестирования будут просто отличные, хотя модель вполне может оказаться неработоспособной.
Ошибка выжившего - по одной группе («выжившим») есть много данных, а по другой («погибшим») - практически нет. И исследователи пытаются искать общие черты среди «выживших», забывая о том, что не менее важная информация скрывается среди «погибших».
Чаще всего эта ошибка иллюстрируется отличным примером: «Слухи об уме и доброте дельфинов основаны на рассказах уставших пловцов, которых они толкали к берегу, но мы лишены возможности услышать рассказ тех, кого они толкали в другую сторону».
Если же говорить про аналитику, то неверно делать выводы только на основании данных о пользователях, которые уже активны в вашем проекте. Нужно также взять в расчет и тех, кто покинул проект. Вполне возможно, они тоже дадут вам достаточно информации для развития проекта. И вот хороший пример, как можно оптимизировать активацию пользователей на основании сопоставления данных о «выживших» и «погибших».
Селективное восприятие заключается в том, что за основу для анализа берутся не все данные, а лишь какая-то заранее выбранная их часть. Разумеется, такой анализ будет нерелевантен, хотя и выглядеть будет достаточно хорошо. Просто аналитик не станет рассказывать о том, какие данные он не взял для анализа.
Допустим, вы выпускаете бета-версию проекта, собираете фидбек, но обращаете внимание лишь на положительные отзывы (ну потому что те, кто пишет негативные отзывы, они ничего не понимают и вообще тролли, верно?). В итоге получается, что значительная часть фидбека проходит мимо, и продукт не изменяется так, как должен был. Похожая ситуация, кстати, возникла в сериале «Кремниевая долина», и в одной из предыдущих статей я разбирал их кейс.
Как ни странно, но упорство - это тоже когнитивное искажение, и заключается оно в продолжении работы над тем, что уже потеряло свою ценность. Скажем, вы все ждете, когда же продукт взлетит только на виральном трафике. Идут месяцы, а он все не взлетает, а вы все ждете, вот сейчас-сейчас.
Уклон в сторону поиска информации - тенденция искать информацию даже тогда, когда она не влияет на действия. Часто роль аналитика в компании достаточно широка, и ему поручают как количественные, так и качественные исследования. Аналитик чувствует себя достаточно вольготно: есть время, сиди себе и гугли нужную информацию. Вполне может возникнуть ситуация, когда при решении какой-то задачи чисто инстинктивно аналитик возьмет себе несколько дней на исследования, на R&D.
Но прежде чем отправиться в путешествие по глубинам интернета на несколько дней, задайте себе вопрос: вы точно не можете приступить к решению задачи прямо сейчас? Вы точно найдете ту информацию, которая поможет вам в последующем анализе и окупит эти дни? Если точно да, тогда конечно, отправляйтесь исследовать.
Эффект знакомства с объектом. Решения принимаются в пользу более знакомой и изученной технологии, даже если это может быть неэффективно.
Допустим, вы до того делали лишь веб-проекты, а тут решили выйти на мобильный рынок. И сразу же начинаете представлять, сколько всего нового придется изучить и вам как аналитику, и разработчикам. И настаиваете на том, чтобы остаться в вебе и даже не соваться в эту terra incognita.
Похожим КИ является предпочтение нулевого риска - стремление уменьшить какой-то один маленький риск до нуля вместо того, чтобы значительно уменьшить другой, больший риск. Люди боятся медицинских осложнений сильнее, чем самого заболевания.
Как бороться с этими искажениями? Если есть возможность выбирать, то соберите данные, будьте максимально непредвзяты и не ориентируйтесь на личные предпочтения.
С другой же стороны есть эффект повального увлечения - тенденция делать вещи, потому что их делают другие. У каждого из нас есть люди, на которых мы равняемся. И часто может быть так, что мы начинаем подражать им, использовать те же инструменты и методы. Или же, узнав о новом методе, вы начинаете видеть его везде (это называется феноменом Баадера-Майнхоф) и стремитесь теперь его везде применять, даже если это не совсем обоснованно.
Такой случай был у меня. Я узнал о факторном анализе и методе главных компонент, был впечатлен ими, особенно картинками с переходом из одного пространства в другое:
Поспрашивал знакомых аналитиков и выяснил, что все его давно применяют, один я ничего раньше не знал. И я стал применять этот метод везде и всюду, даже если этого не требовалось. Метод главных компонент нужен для сокращения размерности (есть у вас 100 переменных, а вам надо оставить лишь пять из них, например), но я использовал его даже тогда, когда на руках было три переменных, и никакого сокращения размерности не требовалось.
Следующим КИ есть смысл пользоваться ради собственной выгоды. Переоценка скидок - название говорит само за себя. Люди часто становятся жертвами маркетологов и покупают то, что было им не нужно, зато со скидкой.
Как этим воспользоваться? Просто попробуйте сделать небольшую скидку на свои товары, виртуальные или реальные - неважно. Часто может быть так, что кратковременная небольшая скидка сильно поднимает выручку.
В своей практике я встречал очень высокую эластичность спроса по цене, особенно на виртуальные товары. Иногда небольшая (допустим, размером в 10%) скидка могла дать сильный (допустим, в 50%) прирост спроса. Экспериментируйте с товарами, на которые делаете скидку, с размером скидок, и я уверен, что вы сможете найти оптимальную стратегию проведения распродаж, максимизирующую выручку и минимизирующую риски.
Наконец, парочка КИ, свойственных исключительно аналитикам:
- иллюзия кластеризации - тенденция видеть паттерны там, где их на самом деле нет;
- иллюзия корреляции - ошибочная вера во взаимосвязь определенных действий и результатов.
Не будет лишним напомнить, что correlation does not imply causation, и если между двумя объектами есть корреляция, это совсем не значит, что изменение одного неизбежно приведет к изменению другого.
И это еще не все когнитивные искажения, которые есть. Очень хочу, чтобы вы знали, какие искажения бывают, что они достаточно повсеместны, и вполне возможно, что у себя вы выявите некоторые из них - и это прекрасный первый шаг. Вообще, рекомендую периодически перечитывать эти списки и задаваться вопросом, нет ли у вас чего-то, что в них упомянуто. Это как ходить к стоматологу раз в полгода.
Главное - не переусердствовать. Ведь непрерывный поиск когнитивных искажений - это тоже своего рода когнитивное искажение.
У аналитика, как и у представителей других профессий, должна быть холодная голова. Аналитик должен быть максимально непредвзятым. Полагайтесь на статистическую значимость, а не на шаблоны и эмоции.
