Давайте сделаем A / B тесты - но стоит ли это того? - www.webusability.pl

  1. Что хорошего
  2. Так в чем проблема?
  3. Почему тесты с пользователями лучше

Измерение влияния изменений в дизайне при прямом переводе на желаемое преобразование, несомненно, является ценным, легкодоступным, недорогим и широко используемым, в том числе такими гигантами, как Amazon или Google. Зачем организовывать исследования для нескольких человек, если мы можем собирать данные из тысяч, не вставая со стола?

Что хорошего

В A / B тестах мы создаем две версии выбранного элемента страницы и отображаем их случайным образом, отслеживая реакции пользователей, чаще всего с помощью количественных показателей, таких как количество кликов, и проверяем, какая из них выпадает лучше. Мы тестируем на больших группах пользователей, результат - простые проценты для сравнения. Давайте перечислим некоторые преимущества:

  • A / B тесты измеряют поведение пользователей в естественных условиях;
  • мы можем обнаружить даже небольшие различия со статистической значимостью;
  • они дешевы - они требуют очень мало обязательств, они не требуют никакого дополнительного оборудования.

Это имеет смысл, верно? Например, мы точно знаем, какую кнопку чаще выбирают пользователи, с какой заголовком читается одна и та же статья. У нас есть доказательства и графики для этого.

Так в чем проблема?

A / B тесты являются надежным инструментом при правильном использовании. Стоит знать о том, что A / B тесты не делают или делают на первый взгляд.

  • Данный вариант дизайна не всегда иллюстрирует концепцию. Мы можем отклонить пароль, использованный в описании, из-за более низких ставок, но мы не знаем, что это была форма, а не содержание. Концепция может быть точной, сравнение с каким-то другим элементом на странице больше не будет.
  • Вариант может не относиться к фактическим причинам проблем. Ошибочные выводы о причине могут привести к решениям, которые не связаны с источником проблемы. Например, предположение о том, что пользователи выбывают на начальных этапах формы в компании по прокату автомобилей из-за большого количества полей, не позволяет вам заметить, что это происходит потому, что они идут туда только для просмотра всего спектра выбора.
  • Мы сравниваем варианты, которые посчитали достойными тестирования. Поэтому тесты могут рассказать нам больше о наших ожиданиях, чем об ожиданиях пользователей. С большой вероятностью мы не выведем из них версию C, которая будет более точно отвечать вашим потребностям.

Мы встречаемся с подходом, согласно которому статистика не противоречит людям, проводящим исследования. Попробуйте провести A / B-тестирование в A / A-варианте - какая версия A была лучше? ?

Почему тесты с пользователями лучше

Мы не догадываемся в тестах с пользователями, но мы наблюдаем, спрашиваем и делаем выводы на этой основе. Умение задавать вопросы, наблюдать за реакцией, выражением лица, позволяет идентифицировать источники проблем или видеть их там, где мы не ожидали (мы имеем в виду как наших клиентов, так и самих себя, дизайнеров).

Если вы предпочитаете оставаться в блаженном невежестве, вы думаете, что вы очень склонны к догадкам, или когда ваш сайт должен служить вам одному - не делайте тестов!

Если вы предпочитаете оставаться в блаженном невежестве, вы думаете, что вы очень склонны к догадкам, или когда ваш сайт должен служить вам одному - не делайте тестов

Также следует помнить, что A / B-тесты прекрасно дополняют качественные исследования. Когда участие компании в разработке пользовательского опыта возрастает до уровня, когда пользователи регулярно проводятся, A / B-тесты обязательно должны быть включены в набор используемых инструментов.

Подробнее о тестах с пользователями вы можете прочитать на нашем сайте:

Пример из практики Свадьба со стилем
Тесты с пользователями
Тест или фокус?

источники:

https://www.nngroup.com/articles/ab-testing-and-ux-research/
https://www.nngroup.com/articles/putting-ab-testing-in-its-place/

Зачем организовывать исследования для нескольких человек, если мы можем собирать данные из тысяч, не вставая со стола?
Это имеет смысл, верно?
Так в чем проблема?
Попробуйте провести A / B-тестирование в A / A-варианте - какая версия A была лучше?