В этом компоненте описывается, какое изменение в продукте хотите протестировать. Что это будет: новый дизайн, новый функционал?
Главное не тестируйте сразу несколько изменений, руководствуйтесь правилом: «1 идея = 1 гипотеза». В ином случае, не получится проверить, какое конкретно изменение повлияло на метрики. Но даже если ограничится одной идеей, она может быть слишком большой и сложной. Постарайтесь её конкретизировать. Для этого опишите user flow, в котором планируется изменение. Проследите, что изменение повлияет только на один шаг в одном пользовательском сценарии.

Например:
«Пользователь, для того чтобы купить товар, нажимает на кнопку. В тесте поменяем цвет кнопки с жёлтой на зелёную. Ожидаем, что увеличится конверсия в продажу».

Антипример:
«Пользователь, для того чтобы купить товар, должен будет нажимать на сердечко в правом углу и переходить в wish list. И уже там совершает покупку».

Второй вариант полностью меняет пользовательский сценарий. Не ясно, что конкретно будет влиять на конверсию, так как мы совершаем несколько изменений.

Итого: в гипотезе должно быть описано, что меняем. В 1 гипотезе — 1 изменение.

Предлагаем потренироваться. Найдите, какой из трёх вариантов можно использовать как 1 компонент гипотезы.
1. Сделать полный редизайн главной страницы.
2. Изменить аудиторию в таргетированной рекламе.
3. Переделать приложение для знакомств в сервис для поиска работы.

1 компонент описывает изменение, второй — его воздействие. Ожидаемое воздействие должно быть конкретным и измеримым:

• На что повлияет внесенное изменение? На конверсию, время отклика, на рост аудитории?
• Как узнаем, что изменение прошло успешно?

Например, мы решили протестировать изменение формы сбора заявок. Мы предполагаем, что это повлияет на удобство использования. «Удобство использования» — это широкое понятие, поэтому оно не подходит для включения в гипотезу, нужно его конкретизировать. Какие метрики его могут характеризовать? Время заполнения, показатель отказов и т. д. Вот их мы можем включать в гипотезу. Для каждого воздействия создается отдельная гипотеза.

Таким образом, начало гипотез будет звучать так: «Если мы изменим форму сбора заявок, уменьшится время её заполнения…». «Если мы изменим форму сбора заявок, снизится показатель отказов…».

Третий компонент в правильно составленной гипотезе — аудитория, явное обозначение на кого повлияет изменение. Часто об этом не задумываются или считают, что изменение коснется всех пользователей. Так думать неверно, поскольку в таком случае результаты не будут отражать реальную картину.

Разберем на примере. Для того чтобы увеличить число подписчиков в email-рассылке, решили показывать поп-ап с предложением подписаться, пользователям покидающим блог. Баннер увидело 50 человек, подписался 1. Получается конверсия 2%. Но проблема в том, что у блога есть постоянные читатели, которые уже подписаны на рассылку. Предположим, 45 человек уже подписчики и по этой причине говорят «нет». То есть получается 1 человек не из 50, а из 5 неподписанных, соглашается на рассылку. Реальная конверсия в подписку не 2%, а 20%. Как видите, разница в результатах тестирования с учетом аудитории и без — существенная. Таким образом, определение аудитории над которой вы проводите тестирование является важным фактором для получения точных результатов.

Четвертый компонент описывает, какой результат ожидаем получить. Для этого укажите в гипотезе, какое влияние, окажет изменение.

Например, если предполагаете, что изменение увеличит конверсию, необходимо прикинуть насколько. Гипотеза будет звучать так: «Изменение увеличит конверсию с x% до y%». Где x — текущий коэффициент конверсии, а y — ожидаемый результат после внесения изменений.

Сделать предположение нужно по двум причинам:
1. Ожидаемое значение поможет оценить успешен результат или нет.
Например, ваше ожидание — увеличение конверсии с 2% до 10 %, а в результате получили 9%. Если нет четкой черты, то можно интерпретировать, что 9 — это тоже хороший результат. И 8 хороший результат, и вообще, любой выше двух.

2. Ожидаемый результат поможет определить длительность проведения эксперимента.
Увеличить до 10% за неделю и за месяц это разные результаты. Подробнее об обозначении срока проведения эксперимента поговорим в следующем пункте.

Ещё одна ошибка при проверки гипотез: устанавливать срок проведения эксперимента «из головы», заканчивать тогда, когда получили желаемое значение метрик. Но можно ли доверять этому результату? Чтобы можно было полагаться на результат, он должен быть статистически значимым.

Статистическая значимость — это способ математически доказать, что зависимости между изменениями и результатами действительно существуют. Пока статистическая значимость не станет равной 95-99%, прекращать проверять гипотезу нельзя.

В прошлых пунктах мы разобрали 5 компонентов хорошей гипотезы.
Теперь соберем их вместе. Шаблон будет строится таким образом:
«Что изменяем + на что повлияет + для какой аудитории + насколько изменится + за какое время»

Дизайн X (изменение) увеличит конверсию лендинга (влияние) с трафика с контекстной рекламы ( для кого) на 10% (насколько) через 7 дней (сколько времени).

Теперь попробуйте составить свою гипотезу. А после, для проверки — разбейте ее на пять компонентов.

Например:
Новая тема для письма увеличит открываемость на 15% для подписчиков ежедневного дайджеста на 15% через 3 дня

• Изменить: тему письма
• Влияние: повысит открываемость.
• Кто: подписчики ежедневного дайджеста
• Насколько: на 15%
• Через какое время: Через 3 дня

Таким образом у вас получилось правильно составить гипотезу.
Такая формулировка гипотезы позволит поставить нужный эксперимент и верно интерпретировать полученные данные. А, значит, приобрести новые знания и сделать продукт еще лучше.

Вдохновлялись
1. The 5 Components of a Good Hypothesis
2. How to Implement Hypothesis-Driven Development
3. Benefits of a hypothesis-driven approach to new product development in large organisations