Post-Mortem анализ (Анализ после инцидента)

Post-Mortem анализ решает проблему повторяющихся сбоев: без структурированного разбора инцидента после его завершения команда устраняет только непосредственное последствие («откатили деплой», «извинились перед клиентом») и переходит к следующей задаче, а системная причина остаётся нетронутой и вызывает тот же сбой снова через какое-то время. Post-Mortem превращает завершившийся инцидент в источник системного улучшения, а не просто в закрытый тикет.

Проблема, которая была «решена» пять раз одним и тем же способом, — это не пять разных проблем, это одна нерешённая системная причина, которую никто не удосужился найти.

Происхождение и исследовательская база

Post-Mortem (посмертный анализ, разбор инцидента) — практика, широко распространённая в индустрии эксплуатации ИТ-систем (SRE, DevOps), но применимая к любым операционным сбоям; метод предполагает структурированный разбор произошедшего инцидента сразу после его разрешения, пока детали свежи в памяти участников.

Ключевые идеи и принципы

1. Принцип: Разбор без поиска виноватого (blameless post-mortem)

   Цель разбора — понять системную причину, а не найти и наказать конкретного человека; культура поиска виноватого заставляет участников скрывать детали из страха наказания, что искажает картину и мешает найти настоящую причину.

2. Принцип: Хронология событий восстанавливается точно и подробно

   Разбор начинается с точного восстановления последовательности событий — что произошло, когда, кто заметил, какие действия предприняты — прежде чем переходить к анализу причин и выводам.

3. Принцип: Различение непосредственной причины и системной первопричины

   Непосредственная причина («сервер упал») отличается от системной первопричины («не было мониторинга нагрузки и автоматического масштабирования») — Post-Mortem должен докопаться до системной причины, а не остановиться на первом очевидном объяснении.

4. Принцип: Конкретные действия по предотвращению повторения с ответственными и сроками

   Разбор без конкретного списка предупреждающих действий с ответственными и сроками остаётся просто интересным чтением — ценность Post-Mortem реализуется только через реальные изменения, предотвращающие повторение.

Ограничения, слепые зоны и критика

Типовые ошибки

1. Ошибка 1: Разбор инцидента фокусируется на том, кто виноват, а не на системной причине.

   Участники скрывают детали из страха наказания, реальная причина остаётся невыявленной.

   Как избежать

   Явно устанавливать культуру безвинного разбора — фокус на системе, а не на человеке.

2. Ошибка 2: Анализ останавливается на первой очевидной непосредственной причине.

   Устраняется симптом, а не системная первопричина, инцидент повторяется в другой форме.

   Как избежать

   Систематически докапываться до системной первопричины, а не первого очевидного объяснения.

3. Ошибка 3: Post-Mortem заканчивается документом с описанием без конкретного плана предупреждающих действий.

   Знание о причине инцидента не приводит к реальным изменениям, предотвращающим повторение.

   Как избежать

   Обязательно фиксировать конкретные предупреждающие действия с ответственными и сроками.

4. Ошибка 4: Разбор проводится значительно позже инцидента, когда детали уже забыты.

   Хронология событий восстанавливается неточно, важные детали теряются.

   Как избежать

   Проводить Post-Mortem сразу после разрешения инцидента, пока детали свежи в памяти участников.

5. Ошибка 5: Процесс Post-Mortem становится тяжёлой бюрократической обязанностью для каждого мелкого сбоя.

   Команда начинает избегать или формально проводить разбор, теряя реальную ценность метода.

   Как избежать

   Соразмерять глубину разбора с масштабом инцидента, не превращая процесс в избыточную бюрократию.

План внедрения

1. Неделя 1: установить культуру безвинного разбора и определить формат Post-Mortem документа.

2. Неделя 2: провести первый разбор недавнего значимого инцидента с восстановлением точной хронологии.

3. Неделя 3: докопаться до системной первопричины и сформировать список предупреждающих действий.

4. Неделя 4: назначить ответственных и сроки по предупреждающим действиям, отследить выполнение.

   Далее: проводить Post-Mortem для каждого значимого инцидента на регулярной основе.

Книги по теме

Beyer B. et al. — «Site Reliability Engineering» (Google, 2016). Практическое руководство по построению культуры безвинного разбора инцидентов в технологических компаниях.