Тест product-market fit Шона Эллиса

JTBD, CustDev и Value Proposition Canvas помогли нащупать продукт, который решает реальную проблему клиента. Но «кажется, что решает» и «клиенты реально не смогут без этого жить» — разные утверждения. Тест Шона Эллиса даёт количественный, проверяемый порог того, что называют product-market fit, вместо интуитивного ощущения «вроде людям нравится».

Происхождение и исследовательская база

Шон Эллис — маркетолог, работавший с ранними стадиями Dropbox, LogMeIn, Eventbrite и Lookout в середине 2000-х годов, впоследствии придумавший термин «growth hacking». По его собственному объяснению (пересказанному в статье First Round Review о компании Superhuman, см. ниже), он искал не отстающий индикатор вроде выручки или прессы (когда инвестбанкиры уже стоят у порога, product-market fit давно достигнут), а опережающий: простой вопрос «как бы вы себя почувствовали, если бы больше не могли пользоваться продуктом?» и доля ответивших «очень расстроюсь». Сравнив данные почти сотни стартапов с помощью своего опроса customer development, Эллис обнаружил «магическое число» — 40%: у компаний, испытывающих сложности с ростом, доля таких ответов почти всегда была ниже 40%, а у компаний с сильной динамикой — почти всегда выше.

Ключевой вопрос теста: «Что бы вы почувствовали, если бы больше не могли пользоваться этим продуктом?» с вариантами ответа «Очень расстроюсь», «Немного расстроюсь», «Не расстроюсь (не так уж полезно)», «Не использую больше». Эллис обнаружил на данных десятков компаний: если доля ответивших «Очень расстроюсь» составляет 40% и более — компания, как правило, находится в зоне устойчивого органического роста; ниже 40% — почти всегда испытывает проблемы с ростом, независимо от объёма маркетинговых усилий.

Реальный кейс применения: как Superhuman подняла показатель с 22% до 58%: Рахул Вохра, основатель почтового клиента Superhuman, описал применение теста в статье «How Superhuman Built an Engine to Find Product-Market Fit» (First Round Review; прочитана целиком). Летом 2017 года первый замер по вопросу Эллиса дал 22% ответивших «очень расстроюсь» — ниже порога. Вохра построил на основе тех же ответов «двигатель PMF» из четырёх шагов: (1) сегментировать выборку — сгруппировать ответивших «очень расстроюсь» по типу пользователя (в случае Superhuman это оказались основатели, менеджеры, руководители и специалисты по развитию бизнеса) и целенаправленно описать «клиента с высокими ожиданиями» (high-expectation customer, понятие Джули Супан) — самого требовательного человека в целевой аудитории, который получает от продукта главную ценность и делится этим с другими; (2) выяснить у самого сегмента «очень расстроюсь», за что именно они ценят продукт больше всего; (3) выяснить у сегмента «немного расстроюсь», чего именно не хватает, чтобы они перешли в категорию «очень расстроюсь»; (4) выстроить дорожную карту продукта вокруг главного преимущества, которое называет сегмент «очень расстроюсь», и вокруг того, чего не хватает сегменту «немного расстроюсь». Только за счёт сегментации (без изменения продукта) показатель поднялся с 22% до 33%; за три квартала целевой работы над продуктом — почти удвоился, до 58%. Практический вывод для методики: сегментация (принцип 3 выше) — не просто дополнительный анализ, а основа конкретного плана действий, а не украшение к итоговому процент.

Ключевые идеи и принципы

1. Принцип: один простой вопрос вместо сложной методологии

   Тест сознательно устроен максимально просто — короткий опрос активных пользователей продукта (не всех подряд, а тех, кто реально пользовался в последний месяц), с единственным ключевым вопросом об эмоциональной реакции на потерю продукта.

2. Принцип: 40% — эмпирический, не теоретический порог

   Порог не выведен математически, а получен эмпирически на данных множества компаний Эллиса — но именно поэтому он полезен как ориентир: ниже него компании систематически сталкиваются со сложностями роста, вне зависимости от отрасли или размера.

3. Принцип: сегментация ответов раскрывает больше, чем общий процент

   Полезно смотреть не только на итоговый процент, но и на то, КАКИЕ пользователи ответили «Очень расстроюсь» — если это конкретный узнаваемый сегмент, а не случайная выборка, это подсказывает, для кого именно продукт уже нашёл fit, даже если общий процент ниже 40%.

4. Принцип: тест — сигнал для действия, не финальный вердикт

   Результат ниже 40% — не приговор, а руководство к действию: разобрать ответы «немного расстроюсь» и понять, чего не хватает, чтобы они стали «очень расстроюсь».

Ограничения, слепые зоны и критика

Типовые ошибки

1. Ошибка 1: Опрашивают всех подряд, а не активных пользователей.

   В выборку попадают люди, которые зарегистрировались, но ни разу реально не пользовались продуктом — их ответы размывают результат и не отражают реальное отношение к продукту.

   Как избежать

   опрашивать только тех, кто реально пользовался продуктом в последний месяц (или другой релевантный период).

2. Ошибка 2: Останавливаются на итоговом проценте, не разбирая сегменты.

   Результат «35%, чуть не дотянули до порога» не анализируется дальше — упускается возможность увидеть, что для конкретного сегмента продукт уже даёт настоящий fit.

   Как избежать

   сегментировать ответы по типу пользователя и смотреть, для какого сегмента результат уже выше 40%.

3. Ошибка 3: Считают низкий результат окончательным приговором продукту.

   Результат ниже порога воспринимается как «продукт не нужен», хотя часто это сигнал о конкретной недоработке, которую можно исправить, а не о принципиальной нежизнеспособности идеи.

   Как избежать

   использовать результат как отправную точку для разбора ответов «немного расстроюсь» — что нужно улучшить, чтобы они стали «очень расстроюсь».

4. Ошибка 4: сегментируют один раз для отчёта, но не строят на этом дорожную карту.

   По кейсу Superhuman, сегментация сама по себе поднимает показатель (Вохра получил +11 процентных пунктов только от группировки по типу пользователя), но основной эффект даёт следующий шаг — выяснение у сегмента «очень расстроюсь», за что именно они ценят продукт, и построение дорожной карты именно вокруг этого. Разовая сегментация без выводов из неё не двигает показатель дальше.

   Как избежать

   после сегментации явно выяснить у самого ценного сегмента главное преимущество продукта, а у сегмента «немного расстроюсь» — чего конкретно не хватает, и включить оба вывода в план разработки продукта, а не только в отчёт по опросу.

План внедрения

1. Неделя 1: Подготовка опроса

   Составить список активных пользователей за последний месяц, подготовить опрос с ключевым вопросом Эллиса.

2. Неделя 2: Сбор ответов

   Разослать опрос, собрать достаточную выборку ответов для статистически осмысленного результата.

3. Неделя 3: Анализ результата

   Рассчитать долю ответивших «Очень расстроюсь», сегментировать результат по типу пользователя.

4. Далее: Действия по итогам

   Если результат ниже 40% — разобрать ответы «немного расстроюсь», понять, чего не хватает продукту для этой группы.

Как реализовать этот план с помощью фрейма «Тест PMF (Шон Эллис)» в OrgDevTools

Фрейм — четыре блока в сетке 2×2 со свободными списками записей: «Выборка» (активные пользователи последнего месяца), «Результат» (% ответивших «очень расстроюсь» против порога 40%), «Сегментация» (для какого сегмента порог уже пройден) и «Действия по итогам» (что улучшить для группы «немного расстроюсь»).

Соответствие плану: неделя 1 — «Выборка»; неделя 2 — сбор данных для «Результата»; неделя 3 — «Результат» и «Сегментация» вместе (как в кейсе Superhuman, где сегментация проводилась сразу после расчёта итогового процента); «Далее» — «Действия по итогам».

Вердикт вкладки «Итоги» вычисляется по ступеням: нет записей в «Выборке» → подсказка начать с активных пользователей последнего месяца; выборка есть, но нет записей в «Результате» → предупреждение, что процент «очень расстроюсь» против порога 40% ещё не зафиксирован; результат есть, но нет записей в «Действиях по итогам» → предупреждение, что тест без выводов бесполезен; иначе — зелёный вердикт «тест завершён: выборка, результат, сегментация и план действий на месте». Кнопка создания задачи формирует задачу «Реализовать улучшение по итогам теста PMF» с описанием «Проверить блок "Действия по итогам"».

Важная деталь устройства вердикта: он на самом деле не проверяет, заполнен ли блок «Сегментация», хотя упоминает её в финальном зелёном тексте — переход к зелёному вердикту зависит только от «Выборки», «Результата» и «Действий по итогам». Это означает, что можно получить зелёный вердикт, вообще не заполнив сегментацию, — а по кейсу Superhuman именно сегментация даёт значительную часть эффекта (Ошибка 4). Фрейм также не проверяет, действительно ли выборка ограничена активными пользователями последнего месяца (Ошибка 1), а не всеми подряд — это остаётся на команде.

Книги по теме

Ellis S., Brown M. — «Hacking Growth» (2017). Книга о growth hacking, где Эллис подробно описывает методологию измерения product-market fit и её роль в масштабировании компании.

Вохра Р. — «How Superhuman Built an Engine to Find Product-Market Fit» (First Round Review, 2017). Реальный кейс: рост показателя с 22% до 58%, методология сегментации и «клиента с высокими ожиданиями».