Анализ согласованности метрик

Отдел продаж успешно выполняет план по числу заключённых сделок, отдел поддержки жалуется на резкий рост обращений от недовольных клиентов, а финансовый отдел фиксирует рост оттока клиентов и снижение среднего чека. При ближайшем рассмотрении выясняется, что отдел продаж достигал своих показателей за счёт агрессивных продаж клиентам, которым продукт не подходил, — локальная метрика была оптимизирована в прямой ущерб общему результату компании.

Задокументированный реальный кейс несогласованности метрик: Wells Fargo с начала 2000-х годов внедрила агрессивную систему квот на «cross-selling» — количество открытых продуктов на клиента. Метрика продаж отслеживалась изолированно от метрик реальной ценности для клиента, а невыполнение почти невыполнимых квот грозило сотрудникам выговорами и увольнением. Результат: сотрудники массово открывали клиентам поддельные счета и карты без их ведома, используя внутренний жаргон вроде «pinning» (присвоение PIN-кодов клиентским картам без разрешения) и «bundling» (обман клиентов о том, что продукты продаются только пакетом). В 2016 году Wells Fargo заплатила 100 млн долларов штрафа Бюро финансовой защиты потребителей (CFPB), 35 млн долларов Управлению контролёра денежного обращения и 50 млн долларов городу Лос-Анджелес. Формально метрика продаж выполнялась годами — реальный результат для банка и клиентов был прямо противоположным. Это хрестоматийная иллюстрация закона Гудхарта: метрика, ставшая целью, перестаёт быть хорошей метрикой. Последствия для компании оказались значительно шире одних лишь штрафов регуляторам: банк уволил порядка 5300 сотрудников, причастных к созданию фиктивных счетов, генеральный директор Джон Стампф в 2016 году был вынужден уйти в отставку под давлением общественности и Конгресса, а в 2020 году Wells Fargo дополнительно согласилась выплатить около 3 млрд долларов в рамках урегулирования с Министерством юстиции и Комиссией по ценным бумагам и биржам США — совокупная цена одной несогласованной метрики продаж, преследуемой без учёта реальной ценности для клиента, в итоге многократно превысила любую выгоду от формально впечатляющих показателей cross-selling.

Когда каждый отдел показывает отличные цифры, а компания в целом не растёт, дело почти всегда в метриках, которые тянут в разные стороны.

Происхождение и исследовательская база

Анализ согласованности метрик развивался в практике управления показателями (performance management) как ответ на широко описанный феномен, известный как закон Гудхарта ("когда мера становится целью, она перестаёт быть хорошей мерой", Чарльз Гудхарт, 1975) и связанную с ним проблему субоптимизации в организациях, где локальная оптимизация метрик отдельных подразделений вредит общему результату компании. Похожая логика ранее была системно описана в теории ограничений Элияху Голдратта: локальные показатели эффективности отдельных звеньев производственной цепочки, оптимизируемые изолированно друг от друга, систематически приводят к субоптимизации всей системы — подразделение, показывающее блестящие локальные метрики, может одновременно снижать общую пропускную способность и прибыльность компании в целом, если его метрика не увязана с общим потоком создания ценности.

Ключевые идеи и принципы

1. Принцип: Проверка метрик на взаимное противоречие

   Анализ явно сопоставляет метрики разных подразделений компании, ища случаи, когда улучшение одной метрики систематически ведёт к ухудшению другой — например, метрика скорости обработки заявок, оптимизируемая в ущерб их качеству. Это классический пример подобного парного противоречия, наблюдаемый практически в любой сервисной организации, где скорость и качество работы измеряются раздельно, без единого показателя, штрафующего за ускорение ценой роста ошибок.

2. Принцип: Проверка связи локальной метрики с общим результатом

   Каждая используемая в компании метрика проверяется на то, действительно ли её улучшение способствует общему результату компании, или она может расти изолированно, не принося реальной пользы бизнесу в целом. Практический тест — построить явную причинно-следственную цепочку от конкретной локальной метрики до итогового финансового или клиентского результата компании: если такую цепочку трудно сформулировать без домыслов, метрика, вероятно, измеряет активность, а не реальный вклад в результат.

3. Принцип: Учёт стимулов, создаваемых метриками

   Анализ явно рассматривает, какое поведение метрика реально стимулирует у сотрудников — метрика, формально измеряющая нужное, но создающая стимул к нежелательному поведению (закон Гудхарта в действии), требует пересмотра. В кейсе Wells Fargo метрика формально измеряла нужное (рост продаж продуктов), но реально созданный ею стимул — любой ценой открыть больше счетов независимо от согласия клиента — оказался прямо разрушительным; регулярная проверка «какое поведение эта метрика реально поощряет у сотрудника, стремящегося её максимизировать» — простой, но часто пропускаемый диагностический вопрос.

Ограничения, слепые зоны и критика

Типовые ошибки

1. Ошибка 1: метрики разных подразделений устанавливаются изолированно, без проверки на противоречие.

   Каждый отдел получает собственные KPI, сформулированные исходя из локальной логики, без анализа того, как их достижение может повлиять на показатели других отделов.

   Как избежать

   Регулярно проверять набор ключевых метрик компании на предмет скрытых противоречий между подразделениями. Практический формат — периодическая (например, ежеквартальная) кросс-функциональная сессия, на которой руководители смежных подразделений вместе разбирают собственные метрики именно на предмет взаимного влияния, а не только отчитываются каждый о своих показателях по отдельности.

2. Ошибка 2: обнаруженное противоречие метрик игнорируется, потому что каждый отдел формально выполнил план.

   Руководство видит, что оба показателя "выполнены", и не расследует, не был ли успех одного отдела достигнут за счёт другого.

   Как избежать

   Явно анализировать причинно-следственные связи между метриками разных функций, а не только факт их формального выполнения. Полезный вопрос для такой проверки — не совпало ли по времени улучшение показателя одного отдела с необъяснённым ухудшением показателя другого, граничащего с ним по процессу; такое совпадение почти всегда заслуживает отдельного расследования, даже если оба показателя формально «в зелёной зоне».

3. Ошибка 3: метрика оптимизируется формально-корректным, но содержательно вредным способом.

   Показатель формально улучшается (например, отдел поддержки закрывает тикеты быстрее нормы), но реальный результат, ради которого метрика вводилась, не достигается — проблема клиента не решена, просто тикет закрыт раньше времени.

   Как избежать

   периодически проверять не только сам показатель метрики, но и реальное качество результата, который она должна была измерять. Практический механизм — выборочный аудит (например, случайная выборка закрытых тикетов службы поддержки с проверкой, действительно ли проблема клиента была решена, а не просто формально закрыта) как регулярное дополнение к самому численному показателю.

4. Ошибка 4: компромиссы между метриками управляются неявно, «по факту».

   Решение о том, чью метрику принести в жертву в конкретной ситуации, каждый раз принимается ситуативно и непрозрачно — сотрудники не понимают правил и воспринимают итог как произвол.

   Как избежать

   заранее явно формулировать правило приоритета между конфликтующими метриками для типичных ситуаций компромисса, а не решать каждый раз заново без прозрачных критериев.

5. Ошибка 5: анализ проводится один раз при введении новых метрик и не повторяется.

   Метрики, согласованные для одной организационной структуры или стратегии, начинают конфликтовать после реорганизации или смены приоритетов, но никто не пересматривает их заново.

   Как избежать

   пересматривать согласованность метрик при каждом значимом изменении оргструктуры или стратегии, а не считать анализ разовым мероприятием. Разумный триггер для внепланового пересмотра — любое существенное изменение операционной модели (запуск нового канала продаж, слияние подразделений, смена стратегического приоритета), поскольку именно такие моменты чаще всего создают новые, ранее не существовавшие противоречия между метриками, унаследованными от прежней структуры.

План внедрения

1. Неделя 1: сбор ключевых метрик

   собрать ключевые метрики всех основных подразделений компании.

2. Неделя 2: анализ пар на противоречие

   проанализировать пары метрик на предмет потенциального взаимного противоречия.

3. Неделя 3: исследование реальных случаев

   исследовать реальные случаи, когда улучшение одной метрики ухудшало другую.

4. Неделя 4: корректировка метрик

   скорректировать метрики или ввести уравновешивающие показатели там, где выявлены проблемы.

5. Далее: регулярный пересмотр

   Далее: регулярно пересматривать согласованность метрик при изменении организационной структуры или стратегии.

Как реализовать этот план с помощью фрейма «Анализ согласованности метрик» в OrgDevTools

Фрейм собирает метрики подразделений в одну таблицу и сам находит, где рост одного показателя идёт за счёт другого, к каким метрикам привязано вознаграждение без пользы для компании и какие компромиссы никто явно не регулирует. Это бесплатный тренажёр. В нём три вкладки: ввод, карта конфликтов и итоговый итог.

Книги по теме

Гольдратт Э. — «Цель» (The Goal, 1984). Классическая иллюстрация проблемы локальной оптимизации метрик в ущерб общей эффективности системы. Голдратт в романе-притче показывает завод, где каждый цех формально выполняет собственные показатели эффективности, а предприятие в целом остаётся на грани закрытия, — пока производственный менеджер не начинает мыслить не локальными метриками отдельных станков, а пропускной способностью всей системы как единого целого, что напрямую перекликается с логикой согласованности метрик в любой другой функциональной области, не только на производстве.