Аудит системы принятия решений в маркетинге

Маркетинговая команда выстроила сложную систему аналитики, регулярно проводит A/B-тесты и собирает подробные отчёты — но при принятии решения о запуске новой кампании данные оказываются на втором плане, а финальное слово всегда остаётся за руководителем, чьё личное мнение о креативе перевешивает результаты тестирования. Инфраструктура для данных есть, а реальный процесс принятия решений её игнорирует.

Задокументированный реальный кейс, показывающий, как тестирование гипотезы на ограниченной аудитории вместо решения по мнению самого влиятельного человека в комнате может принести компании сотни миллионов долларов: в 2009 году в Google возник спор о том, какой именно оттенок синего использовать для текстовых ссылок в Gmail и поиске — один из дизайнеров выбрал оттенок, который нравился его команде, а вице-президент по поисковым продуктам Марисса Майер настояла не на волевом решении в пользу чьего-то вкуса, а на проверке данными. Команда запустила многовариантный тест 41 оттенка синего на реальном пользовательском трафике и по числу кликов однозначно определила победивший, чуть более фиолетовый оттенок. После перехода на этот оттенок ссылок Google получил, по собственным оценкам компании, дополнительные 200 миллионов долларов годовой выручки — просто потому, что решение приняли не по вкусу самого статусного человека, а по результатам теста на реальных пользователях. Это прямая иллюстрация принципа, который Авинаш Кошик называет проблемой HiPPO (highest paid person's opinion): когда решение по умолчанию принимает мнение самого влиятельного участника обсуждения, а не проверенная на аудитории гипотеза, компания системно недополучает деньги, которые лежат в буквальном смысле на поверхности интерфейса.

Наличие аналитики не гарантирует, что решения реально принимаются на её основе.

Происхождение и исследовательская база

Аудит системы принятия маркетинговых решений опирается на исследования маркетинговой аналитики и принятия управленческих решений (marketing decision-making), в частности на концепцию HiPPO (Highest Paid Person's Opinion), популяризированную в практике веб-аналитики и экспериментирования (Avinash Kaushik, 2000-е) — термин описывает распространённый паттерн, при котором решение фактически принимается на основе мнения самого высокопоставленного участника обсуждения, независимо от того, что показывают данные.

Второй задокументированный кейс показывает противоположный, разрушительный сценарий той же проблемы — не отсутствие данных вообще, а масштабный запуск без предварительной проверки на целевой аудитории: в апреле 2017 года Pepsi выпустила рекламный ролик с участием модели Кендалл Дженнер, в котором она символически «разрешает» конфликт между полицией и протестующими, вручив полицейскому банку Pepsi, — ролик вызвал немедленную и массовую критику за легкомысленное использование образов протестного движения (в частности, движения Black Lives Matter), был воспринят как обесценивающий реальную социальную напряжённость ради продажи газировки. Pepsi отозвала ролик менее чем через 24 часа после публикации и выпустила официальные извинения, а Кендалл Дженнер тоже публично извинилась за участие. По сообщениям деловой прессы, кампания создавалась и утверждалась на уровне высшего руководства маркетингового подразделения без содержательного предварительного тестирования реакции на неё представителей той самой аудитории, чьи образы использовались в сюжете, — решение о масштабном запуске было принято на основе внутреннего согласия команды и статусных лиц, а не проверки на реальной, релевантной аудитории перед публичным релизом. Кейс — прямая противоположность истории Google 2009 года: там проверка на данных заменила решение по вкусу самого влиятельного человека и принесла компании деньги, здесь отсутствие такой проверки перед масштабным публичным запуском привело к репутационному кризису и вынужденному отзыву кампании.

Ключевые идеи и принципы

1. Принцип: Проверка реального, а не декларируемого процесса принятия решений

   Аудит явно исследует, что происходит в момент принятия конкретных маркетинговых решений — обсуждаются ли данные до принятия решения, меняется ли решение под влиянием данных, или данные привлекаются постфактум для обоснования уже принятого решения.

2. Принцип: Проверка использования тестирования перед масштабным запуском

   Аудит оценивает, тестируются ли гипотезы (креатив, оффер, канал) на ограниченной аудитории перед масштабным запуском, или решения о полномасштабных кампаниях принимаются сразу, без предварительной проверки.

3. Принцип: Проверка признания и реагирования на неудачные решения

   Здоровая система принятия решений включает механизм честного признания, когда решение оказалось ошибочным, и корректировки курса — аудит проверяет, есть ли реальные случаи отказа от изначально принятого решения на основе данных о его неэффективности.

Ограничения, слепые зоны и критика

Типовые ошибки

1. Ошибка 1: данные привлекаются постфактум для обоснования уже принятого решения.

   Решение фактически принято на основе личного мнения руководителя, а аналитика привлекается только для того, чтобы задним числом придать решению видимость обоснованности.

   Как избежать

   Требовать явного обсуждения данных до принятия решения, а не после него, и фиксировать, действительно ли данные повлияли на итог.

2. Ошибка 2: масштабные кампании запускаются без предварительного тестирования гипотез.

   Значительные маркетинговые бюджеты выделяются на полномасштабный запуск непроверенной гипотезы, без предварительного теста на ограниченной аудитории.

   Как избежать

   Устанавливать обязательный этап тестирования на ограниченной аудитории перед масштабированием значимых маркетинговых решений.

3. Ошибка 3: HiPPO-проблема маскируется формальным присутствием данных в презентации.

   На совещании показывают слайды с цифрами, но решение фактически принято руководителем ещё до обсуждения — данные добавлены для видимости объективности, а не реально повлияли на выбор.

   Как избежать

   проверять не сам факт наличия данных в презентации, а момент, когда решение реально было принято — до или после обсуждения данных.

4. Ошибка 4: тестирование проводится на слишком малой или нерепрезентативной выборке.

   Гипотеза формально тестируется, но на аудитории, которая не отражает реальный масштаб и состав будущего запуска, — результат теста нельзя корректно перенести на полномасштабную кампанию.

   Как избежать

   проверять размер и репрезентативность тестовой аудитории относительно того масштаба, на который планируется распространить решение.

5. Ошибка 5: признание ошибочного решения происходит без анализа системной причины.

   Команда меняет курс после провала кампании, но не разбирает, что именно в процессе принятия решения привело к ошибке — тот же паттерн (например, пропущенное тестирование) незаметно повторяется в следующий раз.

   Как избежать

   при пересмотре неудачного решения явно разбирать, что именно в процессе принятия решения привело к ошибке, а не только менять сам курс действий.

6. Ошибка 6: креативные решения с высоким репутационным риском (использование социально чувствительных образов, тем, символики) запускаются на широкую аудиторию без предварительного тестирования реакции именно той группы людей, чьи образы или контекст используются в кампании.

   Ролик Pepsi с Кендалл Дженнер утверждался внутри компании и рекламного агентства без содержательной проверки реакции на него со стороны сообществ, чьи протестные образы использовались в сюжете, — внутреннее согласие команды, создававшей ролик, не заменяет проверку на аудитории, для которой символика ролика имеет реальный, часто болезненный контекст.

   Как избежать

   для маркетинговых материалов, использующих социально чувствительные темы или образы, предусматривать обязательный этап тестирования реакции именно той аудитории, чей опыт или образы задействованы в материале, — а не полагаться на внутреннее одобрение команды, создающей кампанию, каким бы статусным ни было это одобрение.

План внедрения

1. Неделя 1: анализ недавних решений

   проанализировать несколько недавних значимых маркетинговых решений на предмет реальной роли данных.

2. Неделя 2: проверка тестирования

   проверить, тестировались ли гипотезы перед масштабным запуском. Для материалов с высоким репутационным риском (социально чувствительные темы, образы, символика) отдельно проверить, тестировалась ли реакция именно той аудитории, чей опыт или образы задействованы в материале, — а не только реакция внутренней команды и статусных лиц, утверждающих кампанию, как это произошло с рекламой Pepsi 2017 года.

3. Неделя 3: оценка честного пересмотра

   оценить, есть ли случаи честного пересмотра решений на основе данных об их неэффективности.

4. Неделя 4: обязательный процесс обсуждения

   внедрить обязательный процесс обсуждения данных до принятия значимых решений. Отдельно проверить и зафиксировать скорость реакции организации на уже запущенное ошибочное решение — способность быстро распознать и скорректировать курс не менее важна, чем предотвращение ошибки на этапе принятия решения.

5. Далее: регулярный мониторинг

   Далее: регулярно отслеживать долю решений, реально основанных на данных, а не принятых постфактум. Отдельно вести учёт скорости реакции на уже запущенные ошибочные решения — эта метрика не менее важна для оценки зрелости системы принятия решений, чем доля решений, основанных на данных до запуска.

Как реализовать этот план с помощью фрейма «Аудит системы принятия решений в маркетинге» в OrgDevTools

Фрейм ведёт аудит через журнал реальных решений. Вы разбираете кампанию за кампанией, а он сам считает, какая доля решений опиралась на данные до обсуждения, как часто мнение руководителя перевешивало цифры и чем заканчивались решения с тестом и без него. Фрейм работает как бесплатный тренажёр: на своих кейсах можно увидеть, где система решений даёт сбой.

Книги по теме

Кошик А. — «Web Analytics 2.0» (2009). Концепция HiPPO и принципы принятия решений на основе данных в маркетинге.