Метрики и KPI · Конспекты по бизнес-анализу

Что это#

Техника измеряет эффективность решения, компонента решения или чего угодно ещё, что важно заинтересованным сторонам. Руководство BABOK® различает три термина, которые часто путают:

Индикатор (indicator) — конкретная числовая мера чего-либо, по которой виден прогресс, например «онлайн-записи в неделю».
Метрика (metric) — измеримый уровень индикатора, который показывает, насколько вы продвинулись к результату, например «не менее 300 онлайн-записей в неделю к июню».
KPI (key performance indicator, ключевой показатель эффективности) — индикатор, который измеряет продвижение к стратегической цели. Каждый KPI — индикатор, но большинство индикаторов не являются KPI.

Руководство описывает четыре элемента: индикаторы, метрики, структуру (как данные собираются, анализируются и превращаются в результаты) и отчётность. В нём также названы три фактора качества индикаторов и метрик; вот они простыми словами:

Надёжность (reliability) — мера даёт тот же результат при повторном измерении в тех же условиях, кто бы ни измерял.
Валидность (validity) — она действительно измеряет то, что заявлено.
Своевременность (timeliness) — данные приходят вовремя, чтобы успеть повлиять на решения.

Когда применять#

Учебные таблицы Watermark связывают технику с такими задачами BABOK: 3.5 «Определение улучшений эффективности бизнес-анализа»; 6.1 «Анализ текущего состояния» и 6.2 «Определение будущего состояния» (чтобы решить, когда бизнес-цели достигнуты); 7.2 «Верификация требований» и 7.3 «Валидация требований»; 7.6 «Анализ потенциальной ценности и рекомендация решения»; 8.1 «Измерение эффективности решения» и 8.2 «Анализ показателей эффективности».

На практике формулируйте показатели успеха, когда определяете бизнес-цели, и возвращайтесь к ним, когда решение заработает.

Будьте осторожны, если:

сбор данных для показателя обходится дороже, чем стоит управленческое решение, которое на нём основано; учебные таблицы предупреждают, что избыточный сбор данных и отчётность дороги и отвлекают от продуктивной работы;
по этому числу никто не будет принимать никаких мер;
метрику будут использовать для оценки отдельных сотрудников; в учебных таблицах отмечено, что тогда внимание может сместиться на саму метрику в ущерб реальной работе.

Как это делать#

Начните с цели. Возьмите бизнес-цель из бизнес-кейса или описания будущего состояния и спросите: «Как мы поймём, что движемся к ней?»
Выберите индикаторы. От одного до трёх на цель. Сочетайте опережающие индикаторы, которые дают ранние сигналы, с запаздывающими, которые позже подтверждают результат.
Проверьте каждый индикатор. Надёжен ли он, валиден ли, своевременен ли? Можно ли получить данные и во что это обойдётся?
Задайте метрики. Для каждого индикатора — целевое значение или допустимый диапазон, единица измерения и срок.
Определите структуру. Источник данных, способ сбора, периодичность, формула расчёта, владелец и способ проверки качества данных.
Спроектируйте отчётность. Аудитория, формат, периодичность и решение, которое поддерживает каждое число.
Добавьте обратную связь. Учебные таблицы подчёркивают, что метрики должны сопровождаться обратной связью. Поговорите с людьми, которые стоят за числами, чтобы понять, почему числа изменились.
Пересматривайте набор. Убирайте метрики, которыми никто не пользуется, и следите за признаками того, что люди оптимизируют число, а не результат.

Пример#

«Мастерская», вымышленная сеть из 12 веломастерских, запускает онлайн-запись и уведомления о статусе ремонта. Аналитик и владелец определяют небольшой набор показателей. Все числа условные.

Цель	Индикатор	Метрика (целевое значение)	Источник	Периодичность	Владелец
Перевести бронирования в онлайн (цель стратегическая, поэтому это KPI)	Доля бронирований, сделанных онлайн	50% и более к концу года	Система бронирования	Ежемесячно	Владелец
Меньше звонков «Уже готово?»	Звонки о статусе на одну мастерскую в день	Не более 5 через полгода	Журнал звонков стойки приёма	Еженедельно	Старший администратор
Надёжные уведомления	Изменения статуса, о которых уведомили в течение 15 минут	98% и более	Системный журнал	Ежедневно	Команда разработки
Ремонт начинается вовремя	Забронированные ремонты, начатые в запланированный день	90% и более	Учёт мастерской	Еженедельно	Управляющие мастерскими

Аналитик отмечает риск в последней строке: если по этому показателю будут оценивать управляющих, они могут незаметно закладывать при записи больше времени на ремонт, чтобы не портить число. Поэтому метрику дополняют коротким опросом клиентов о времени ожидания, и владелец рассматривает оба показателя вместе.

Частые ошибки#

Измеряют то, что легко, а не то, что важно → начинайте с целей, а не с имеющихся данных.
Слишком много метрик → оставьте по несколько на цель: каждую нужно собрать и прочитать, а это труд.
Расплывчатые определения вроде «удовлетворённости клиентов» → запишите формулу, единицу, источник и период.
Числа без контекста → показывайте тренд, целевое значение и короткий комментарий.
Целевые значения, которые искажают поведение → авторы книги BCS предупреждают, что целевые показатели меняют поведение, иногда к худшему: продавец, который гонится за планом продаж, может слишком сильно снизить цены. Улучшение одного локального показателя в ущерб целому называют субоптимизацией. Используйте пары метрик, которые тянут в разные стороны.
Отчёт, к которому не привязано решение → дайте каждой метрике владельца и решение, для которого она нужна.
Любую метрику называют KPI → оставьте слово «KPI» для показателей, связанных со стратегическими целями.

Шаблон#

Шаблон

| Поле | Значение |
|-------|-------|
| Название | |
| Цель, которую поддерживает метрика | |
| Тип | KPI (стратегический) / операционная метрика |
| Определение индикатора и формула | |
| Единица и период | |
| Целевое значение или допустимый диапазон | |
| Последнее значение (дата) | |
| Источник данных и способ сбора | |
| Периодичность | |
| Владелец | |
| Аудитория и отчёт | |
| Решение, для которого нужна метрика | |
| Известные ограничения (надёжность, валидность, своевременность) | |

Чек-лист#

Каждая метрика прослеживается до бизнес-цели
Каждый индикатор проверен на надёжность, валидность и своевременность
Указаны целевое значение, единица и срок
Определены источник данных, формула и владелец
В отчётах названы аудитория и решение, которое они поддерживают
Метрики дополнены качественной обратной связью
Набор регулярно пересматривается и сокращается

Источники и что почитать#

IIBA. A Guide to the Business Analysis Body of Knowledge (BABOK® Guide), version 3. International Institute of Business Analysis, 2015. Рус. изд.: Руководство к своду знаний по бизнес-анализу (Руководство BABOK®), версия 3.0. Техника 10.28 «Метрики и ключевые показатели эффективности (KPI)».
Watermark Learning. BABOK v3 Study Tables. 2016 (учебное пособие к Руководству BABOK). Разд. 10.28.
D. Paul, D. Yeates, J. Cadle (eds.). Business Analysis, 2nd ed. BCS, The Chartered Institute for IT, 2010. Гл. 8 (целевые показатели и субоптимизация).