Смешанная методика UX-исследования: наблюдение, гипотеза, сбор данных

UX-аналитик ecommerce-платформы Shopify Алена Югина в своем блоге на Medium рассказала, как подготовиться к проведению UX-исследования, как при этом объединить количественные и качественные методы и какие данные следует собрать.

Редакция рубрики «Интерфейсы» публикует перевод заметки, выполненный командой блога платформы Primeliber.

Формулируем вопрос и собираем данные

Многие UX-исследователи избегают статистики. Большинство из нас, в том числе и я, не имеют высшего образования в области математики, поэтому нам тяжело работать со сложными статистическими уравнениями. SPSS, SAS, R и даже Excel и Таблицы Google позволяют использовать статистические данные на концептуальном уровне, без необходимости углубляться в уравнения. Но при использовании этого программного обеспечения есть некоторый риск, особенно если вы не имеете никакого представления о статистике.

Участники проекта нередко спорят, что важнее: «большие данные» или этнографический подход к дизайну продукта. Такие споры, как правило, контрпродуктивны: эти два метода дополняют друг друга, а не противостоят. Для дискуссий есть и более важные вопросы - например, кто должен править Вестеросом из «Игры престолов».

Как объединить в исследовании качественные и количественные методы

Начните с вопросов. UX-исследователи могут задавать целый ряд вопросов для количественного анализа, касающихся отношения владельца к конкретной задаче («Ваше мнение об онлайн-маркетинге?») или собирать информацию на основе поведенческого опросника («Как владельцы малого бизнеса создают свой имидж и как они воспринимают свой онлайн-магазин?»).

С другой стороны, сбор качественных данных может включать в себя посещение местного магазина, наблюдение за поведением владельца бизнеса без заранее составленных вопросов или проведение интервью, в котором бизнесмен открыто говорит об управлении складом, при этом ему не задают конкретных вопросов.

Выберите метод. Выбор методов зависит от вашего намерения. Либо вы до начала исследования уточняете, какая нужна информация (количественный метод), либо позволяете ее раскрыть самим участникам (качественный метод).

Определите, как вы будете записывать данные. Какие могут быть данные:

• числовые (количественные);
• полученные на основании опросов («возраст Х% владельцев бизнеса - от 18 до 24 лет»);
• полученные на основании Google Analytics (показатель отказов на этой странице - Х%);
• качественная информация (текст, аудио или изображение), полученная из интервью и наблюдений.

Решите, как вы будете интерпретировать данные. Вы можете применять статистический анализ (количественный метод) или интерпретировать темы и шаблоны, полученные из данных (качественный метод). Это зависит от вопроса, методов и инструментов.

UX-исследователи регулярно собирают, анализируют и интерпретируют как количественные, так и качественные данные. Мы погружаемся в поведение человека и очень точно обрабатываем и обобщаем результаты от одной выборки ко всей группе людей. Данные «тепловой карты» можно дополнить открытыми наблюдениями, а данные опроса - проведением подробных исследовательских интервью.

Я считаю, что искусственное разделение методов исследования на качественные и количественные только вносит путаницу в UX-исследование. Во многих обучающих материалах рекомендуют не обобщать результаты небольших выборок: высока вероятность появления статистической случайности.

Мы не говорим о «ловушках сбора количественных данных», таких как сотни ненужных «тепловых карт», событий в Google Analytics и A/B-тестах, - просто потому, что эти методы всем доступны. Не буду вдаваться в подробности анализа исследования, это очень масштабная тема.

Хочу только еще раз повторить, что ключевая задача UX-исследования - добиться ясности, избежать сложностей и в конце концов любым проверяемым методом найти ответ на интересующий вас вопрос.

1. Наблюдаем, прежде чем начать систематическое измерение

Приступая к любому исследованию, я отвечаю на четыре простых вопроса:

• Какой необходим уровень анализа?
• Какие группы людей я буду изучать?
• Где проводить исследование?
• В какое время суток проводить исследование?

Сразу же после этого я приступаю к неформальному наблюдению того, что хочу лучше понять. Наблюдение может носить эпизодический характер (я заметила, что мой отец очень избирательно решает, в каком магазине купить алкоголь) или основываться на данных (я попросила нескольких владельцев бизнеса записывать свои мысли каждый раз, когда они общаются с новым поставщиком, и заметила, что большинство из них очень разборчивы).

Любой хороший аналитик данных, будь то статистик или UX-исследователь, скажет, что перед самим исследованием нужно проводить неформальные наблюдения и общаться с людьми, чтобы лучше понять группу людей, чье поведение вы планируете анализировать.

Вот почему важно предварительное наблюдение:

• Вы получаете исходный материал для формулирования вопросов и гипотез.
• Это помогает вам определиться с группой людей, которую вы будете исследовать.
• Это помогает выбрать методы измерения и записи, лучше всего подходящие к ситуации.

Нельзя недооценивать значимость простого наблюдения перед систематическими измерениями. Начинающий исследователь может споткнуться на первых этапах, потому что он стремится сразу получить точные данные и не уделяет достаточно времени составлению правильных вопросов.

Опытный исследователь много времени проводит над предварительным наблюдением и часто исключает самые первые данные из окончательного анализа. Методы исследования и измерения результатов при необходимости можно изменить, не рискуя достоверностью исследования.

2. Создаем проверяемую гипотезу

Ключевое слово - «проверяемая». Карл Поппер, известный философ науки, сказал, что критерием научного статуса теории является ее фальсифицируемость (или опровержимость, или проверяемость). То есть за хорошей теорией всегда стоит гипотеза, которую можно доказать или опровергнуть количественными или качественными методами исследования.

Например, «бизнесмены разборчивы в выборе поставщиков» - это ненаучное заявление: «разборчивость» невозможно выразить количественно, а «бизнесмены» - слишком большая группа людей. Если мы изменим это заявление и скажем, что «владельцы малого бизнеса называют не менее трех факторов для отбора, оценки и проверки поставщиков», то оно становится проверяемым. Теперь мы сможем выяснить, что это за факторы и как они отличаются в разных сферах бизнеса.

3. Собираем данные для проверки теории

Здесь нужно определиться с двумя моментами: что измерять и как измерять. Первый вопрос довольно прост: чтобы проверить теорию, нам нужно измерить переменные, то есть то, что различается у разных людей (поведение, возраст), в разных местах (количество предприятий малого бизнеса в Канаде и Австралии) или в разное время (чувство голода в полдень и в два часа дня, прибыль компании в январе и феврале).

Многие гипотезы можно выразить двумя переменными: причина (независимая переменная) и следствие (зависимая переменная). Если мы возьмем заявление «Плохой дизайн страницы оформления заказа повышает количество отказов», то «плохой дизайн страницы оформления заказа» - это причина, а «низкая конверсия клиентов» - следствие. Переменные (по сути, собранные числа и слова) можно разбить на качественные и непрерывные, и дальше уже выделяются разные уровни измерения.

Качественная переменная - это переменная, которая различает объекты. Вы либо человек, либо кот, либо летучая мышь. Нельзя быть немного летучей мышью и немного человеком, если только вы не Бэтмен.

• Двоичная переменная: выделяют только две категории (например, «да» и «нет»).
• Категориальная переменная: выделяют более двух категорий («я продаю одежду, электронику, мебель, спортивное оборудование» и так далее).
• Порядковая переменная аналогична категориальной, но категории выстроены в логическом порядке (начинающий, растущий или зрелый бизнес).

Непрерывная переменная дает оценку каждому человеку и может принимать любое значения на шкале переменных, которую вы используете.

• Интервальная переменная: равные интервалы на переменной (например, на шкале от 1 до 5 разница между 1 и 3 равна разнице между 3 и 5).
• Переменная отношений: аналогична интервальной переменной, но измеряет соотношения (например, время срабатывания «4 секунды» в два раза дольше времени срабатывания «2 секунды» и наполовину короче времени срабатывания «8 секунд»).

Как проверить нашу теорию, используя эти переменные? В корреляционном (качественном) исследовании мы наблюдаем за тем, что происходит в мире, без прямого вмешательства. При экспериментальном (количественном) исследовании мы манипулируем одной переменной, чтобы выявить ее влияние на другую.

Какой бы метод вы ни выбрали, помните, что поведение состоит из непрерывного потока движений и событий. Прежде чем получить достоверные измерения, этот поток нужно разделить на дискретные категории. Я обычно выбираю категории на основании заданного вопроса, а не на основании какого-то присущего характера поведения.

Неопытные исследователи склонны слишком много записывать. Поток поведения безграничен, поэтому здесь важен избирательный подход. Чем меньше используется категорий, тем достовернее будет измерение каждой из них, причем все категории можно отнести к категориальным, порядковым, интервальным или переменным отношения. Например: «У P1 ушло в два раза больше времени на поиск кнопки оформления заказа, чем у P2».

Кроме качественных и непрерывных переменных, есть еще четыре типа показателей, которые помогают описать поведение:

Период ожидания. Он измеряется в единицах времени (секунды, минуты, часы). Это время от какого-то конкретного события (например, начала записи сеанса исследования) до первого проявления поведения. Например, если человек не нажимает на кнопку призыва к действию по прошествии двух минут, то задержка клика составляет две минуты.

Частота. Измеряется в обратных единицах времени (с -1, мин -1, час -1 ). Это количество проявления шаблонов поведения за единицу времени. Например, если человек нажимает на кнопку призыва к действию 20 раз за 10 минут, то частота действий составляет два раза в минуту.

Продолжительность. Измеряется в единицах времени (секунды, минуты, часы). Это отрезок времени, в течение которого длится один шаблон поведения. Например, если человек начинает читать инструкцию и прекращает через пять минут, то длительность процесса чтения составляет пять минут.

Интенсивность помогает оценивать масштаб шаблона поведения и может измеряться при помощи физических величин: вес поднятых ящиков, объем выпитой воды, количество подсчитанных чеков или расстояние, пройденное от пункта А до пункта В. Можно измерить интенсивность голоса во время общения коллег (для оценки условий работы), амплитуду движения руки во время поднятия коробок или высоту прыжка; интенсивность выражения эмоций или степень агрессии во время социального взаимодействия.

Самый простой показатель интенсивности - локальный коэффициент, который определяется как количество действий компонента за единицу времени, потраченную на выполнение действия. Например, интенсивность ходьбы можно измерить количеством шагов за единицу времени. Локальный коэффициент включает ускорение интенсивности поведения: чем быстрее выполняется действие, тем выше локальный коэффициент.

4. Не только анализ

Это лишь некоторые инструменты, которые можно использовать, чтобы выразить поведение в количественной форме. Какие бы инструменты вы ни выбрали, анализ должен быть точным. Перейдя от бумаги и карандаша к компьютеру, вы ускорите проведение анализа и, вероятно, сделаете его более точным, но вы не сможете изменить данные. Неправильно собранные данные и неактуальные данные нельзя вносить в компьютер, хотя некоторые пытаются завернуть эти данные в оболочку сложного анализа и представить в виде запутанных диаграмм.

Используйте самые лучшие доступные методы и оборудование, чтобы создавать и проверять гипотезы. Главное, не увлекайтесь методологией. Как сказали Фаген и Янг, «будущее принадлежит тем, кто может эффективно использовать простые методы для проверки теоретической гипотезы, или тем, кто готов создавать оригинальные модели поведения в случае отсутствия простого доступного метода».

• «Настольная книга по этологическим методам», Филип Ленер.
• «Измеряем поведение», Пол Мартин и Патрик Батесон.
• «Умные данные: используем науку о данных, чтобы извлечь знания из информации», Джон Форман.
• «Открываем статистику с IBM SPSS», Энди Филд.