Анализ системы обучения и развития (L&D Audit) проверяет не сам факт проведения тренингов, а то, насколько ГЛУБОКО измеряется их эффективность. Большинство компаний ограничиваются вопросом "понравилось ли обучение участникам" — это самый лёгкий, но и самый неглубокий уровень оценки. Реальный вопрос, который редко задают: изменилось ли поведение людей на рабочем месте и повлияло ли это на измеримый бизнес-результат.
Задокументированный реальный кейс, количественно подтверждающий проблему из вступительного примера: в отчёте 2016 года «Evaluating Learning: Getting to Measurements That Matter» Association for Talent Development (ATD) опросила 199 организаций и обнаружила, что лишь 35% L&D-специалистов измеряют реальный бизнес-результат своих программ обучения (уровень 4 по Киркпатрику) — при этом более ранние исследования ASTD показывали, что ROI применялся лишь к 5-8% курсов в принципе. Одновременно те же исследования показывают, что организации, которые всё же доходят до измерения уровня 4-5, стабильно демонстрируют ROI в диапазоне 200-700% на хорошо спроектированных программах. Разрыв огромен: подавляющее большинство компаний останавливается на самом лёгком и наименее ценном уровне оценки (реакция участников), хотя именно измерение до уровня бизнес-результата даёт руководству реальные основания для решений о бюджете L&D.
Происхождение и исследовательская база
Дональд Киркпатрик (Donald Kirkpatrick) разработал модель четырёх уровней оценки эффективности обучения в своей докторской диссертации 1954 года в Университете Висконсина, опубликовал её серией статей в 1959 году, а затем консолидировал в книге «Evaluating Training Programs» (1994). С тех пор модель остаётся наиболее широко используемым инструментом оценки корпоративного обучения. Позднее сын Дональда, Джеймс Киркпатрик, вместе с супругой Венди развили модель в «New World Kirkpatrick Model», добавив явный акцент на то, что планирование оценки должно начинаться с уровня 4 (какой бизнес-результат нужен) и двигаться в обратную сторону к уровню 1, а не наоборот, — методологический сдвиг, призванный бороться именно с систематическим застреванием компаний на самом простом первом уровне.
Четыре уровня: Reaction (понравилось ли участникам), Learning (выросли ли знания/навыки), Behavior (применяют ли новое на практике) и Results (повлияло ли на измеримый бизнес-результат). Ключевое наблюдение Киркпатрика: чем выше уровень, тем сложнее, дороже и трудозатратнее его измерить — именно поэтому подавляющее большинство компаний останавливается на первом, самом простом уровне. Модель также иногда расширяется до пятого уровня — ROI (возврат на инвестиции), явно переводящий бизнес-результат уровня 4 в денежное выражение и сопоставляющий его со стоимостью самой программы обучения, хотя это расширение (предложенное позже Джеком Филлипсом) не входит в оригинальную формулировку Киркпатрика.
Ключевые идеи и принципы
Принцип: каждый следующий уровень сложнее, но и ценнее предыдущего
Опросник "понравилось ли обучение" собрать легко за минуты. Измерить, изменилось ли реальное поведение людей на рабочем месте спустя месяцы после тренинга, — существенно сложнее, требует наблюдения или данных о работе, но именно это отвечает на вопрос, была ли инвестиция в обучение оправдана. Практический компромисс, которым пользуется большинство зрелых L&D-функций, — не пытаться измерять все уровни для каждой программы одинаково подробно, а сознательно выбирать глубину измерения пропорционально стоимости и стратегической значимости конкретной программы: для массового короткого онбординга достаточно уровня 1-2, для дорогостоящей программы развития руководителей оправдано доходить до уровня 3-4.
Принцип: положительная реакция участников не гарантирует реального обучения
Тренинг может быть увлекательным, харизматичным, оценённым участниками на "отлично" (Уровень 1) — и при этом не привести ни к какому реальному приросту знаний или навыков (Уровень 2). Эти два уровня измеряют принципиально разные вещи. Более того, исследования корреляции между уровнем 1 и уровнем 2 в L&D-литературе показывают её как слабую или вовсе отсутствующую — высокая оценка удовлетворённости иногда даже отрицательно коррелирует с реальным приростом знаний, поскольку наиболее комфортные, необременительные тренинги нередко оказываются наименее требовательными к реальному усвоению материала.
Принцип: перенос обучения в поведение — самый частый провал системы обучения
Даже успешно освоенные новые знания и навыки (Уровень 2) часто не переносятся в реальную практику работы (Уровень 3) — без поддержки, напоминаний и подкрепления со стороны руководителя новое поведение угасает, а старые привычки возвращаются. Именно поэтому в современной практике L&D всё больше внимания уделяется не самому событию обучения, а последующей поддержке переноса — коротким напоминаниям, чек-листам на рабочем месте, обратной связи от руководителя в первые недели после тренинга, — без которых даже отлично усвоенный на уровне 2 материал статистически не превращается в устойчивое изменение поведения.
Принцип: бизнес-результат — конечная, но редко достигаемая цель измерения
Уровень 4 отвечает на вопрос, который реально волнует руководство: окупилось ли обучение конкретным бизнес-эффектом (рост продаж, снижение брака, сокращение текучести). Именно этот уровень измеряется реже всего — не потому, что не важен, а потому, что требует изоляции эффекта обучения от других факторов, влияющих на бизнес-результат. Практические способы частичного решения этой проблемы — сравнение результатов группы, прошедшей обучение, с контрольной группой, не проходившей его в тот же период, либо отслеживание изменения конкретного бизнес-показателя до и сразу после обучения на фоне относительно стабильных внешних условий; ни один из способов не даёт строгой экспериментальной чистоты, но оба значительно надёжнее, чем простое совпадение по времени.
Довольные участники тренинга — это не то же самое, что обученные сотрудники. Обученные сотрудники — это не то же самое, что изменившие поведение. Изменившие поведение — это не то же самое, что принёсшие бизнес-результат.
Ограничения, слепые зоны и критика
Измерение Уровня 4 (бизнес-результат) требует изоляции эффекта конкретного обучения от множества других факторов, влияющих на результат одновременно — строгая причинно-следственная атрибуция часто практически недостижима без контролируемого эксперимента. На практике это ограничение не повод отказываться от попытки измерения уровня 4 вовсе, а аргумент в пользу более скромных, честных формулировок выводов — например, «показатель улучшился на X% в период после обучения, при прочих относительно стабильных условиях» вместо категоричного «обучение принесло X% прироста».
Модель предполагает линейную последовательность (реакция → обучение → поведение → результат), но в реальности эти уровни могут влиять друг на друга не строго последовательно — например, ранние признаки изменения поведения иногда видны раньше, чем формальный тест на усвоение знаний. Практическое следствие этого ограничения — не относиться к четырём уровням как к строго последовательному чек-листу, где следующий этап начинается только после завершения предыдущего, а собирать данные по всем доступным уровням параллельно там, где это возможно, используя модель прежде всего как удобную структуру классификации данных, а не как жёсткий процессный протокол.
Для очень коротких, простых обучающих активностей (пятиминутный инструктаж по технике безопасности) измерение всех четырёх уровней избыточно — глубина оценки должна быть соразмерна масштабу и стоимости самого обучения.
Типовые ошибки
Ошибка 1: измеряется только Уровень 1 (реакция), и на этом эффективность обучения считается оценённой.
Компания собирает опросники удовлетворённости после каждого тренинга и на этом останавливается, считая систему обучения полностью прозрачной.
Как избежать: явно фиксировать, до какого уровня Киркпатрика реально доходит измерение каждой программы, и стремиться подниматься выше Уровня 1 для значимых программ.
Ошибка 2: положительная реакция участников принимается за доказательство реального обучения.
Высокие оценки удовлетворённости тренингом интерпретируются как показатель его эффективности, хотя эти два уровня измеряют разное.
Как избежать: для важных программ вводить тестирование знаний/навыков до и после обучения (Уровень 2), не полагаясь только на субъективную реакцию.
Ошибка 3: не отслеживается перенос обучения в реальное поведение на рабочем месте.
После завершения тренинга никто не проверяет, применяют ли участники новые навыки в реальной работе спустя месяц-два.
Как избежать: вводить отложенную проверку (наблюдение, обратную связь от руководителя) через определённый срок после обучения.
Ошибка 4: завершаемость программ обучения не отслеживается вообще.
Компания не знает, какой процент записавшихся на программу реально её завершает — низкая завершаемость может маскировать проблемы с содержанием или мотивацией.
Как избежать: вести систематический учёт завершаемости по каждой программе обучения.
Ошибка 5: инвестиции в обучение продолжаются без попытки связать их с бизнес-результатом.
Бюджет на обучение растёт из года в год без явной оценки, окупается ли он конкретным измеримым эффектом.
Как избежать: для крупных, дорогостоящих программ обучения явно пытаться связать их с конкретным бизнес-показателем, даже если атрибуция несовершенна.
Главное, что нужно знать
Четыре уровня Киркпатрика (1959/1994): Reaction, Learning, Behavior, Results — каждый следующий сложнее и ценнее предыдущего.
Большинство компаний измеряют только Уровень 1 (понравилось ли обучение) и считают на этом систему прозрачной.
Положительная реакция участников не гарантирует реального прироста знаний или навыков.
Перенос обучения в реальное поведение на рабочем месте — самый частый провал системы обучения.
Бизнес-результат (Уровень 4) — конечная цель измерения, но измеряется реже всего из-за сложности изоляции эффекта.
План внедрения
Недели 1-2 — инвентаризация текущей глубины измерения. Определить, до какого уровня Киркпатрика реально доходит оценка каждой существующей программы обучения.
Недели 3-4 — расширение измерения для ключевых программ. Для наиболее значимых и дорогостоящих программ ввести измерение хотя бы до Уровня 2 (тест знаний до/после), в идеале Уровня 3.
Недели 5-6 — попытка связать обучение с бизнес-результатом. Для критичных программ попробовать связать эффект обучения с конкретным бизнес-показателем.
Далее: поддержание и обновление. Регулярно отслеживать завершаемость программ и глубину измерения их эффективности, постепенно поднимая планку.
Как реализовать этот план с помощью фрейма «Анализ системы обучения и развития» в OrgDevTools
Фрейм «Анализ системы обучения и развития» в OrgDevTools напрямую поддерживает план внедрения. На этапе инвентаризации (недели 1-2) заполните чек-лист «4 уровня Киркпатрика — что реально измеряется» — фрейм автоматически покажет достигнутую "глубину" оценки; счётчик "Глубина: Уровень N" сразу даёт объективный, а не интуитивный ответ на вопрос "насколько глубоко мы на самом деле оцениваем обучение".
На этапе работы с конкретными программами (недели 3-6) заполняйте таблицу «Программы обучения» — для каждой программы укажите завершаемость и оценку влияния на бизнес; это даёт конкретную, сравнимую картину по всем программам вместо разрозненных наблюдений.