Критерии приёмки и оценки · Конспекты по бизнес-анализу

Что это#

Руководство BABOK® рассматривает эти два вида критериев как одну технику, потому что они строятся из одного и того же сырья — атрибутов ценности (value attributes). Атрибут ценности — это характеристика решения, которая делает его ценным для заинтересованных сторон, например:

способность предоставлять определённую информацию или выполнять определённые действия;
производительность и скорость отклика;
пригодность для определённого контекста использования;
удобство использования, безопасность, масштабируемость и надёжность.

Суть техники — разложить ожидаемую ценность на такие атрибуты и договориться о них. Дальше атрибуты используют одним из двух способов:

Критерии приёмки относятся к одному решению. Каждый критерий — утверждение, которое либо истинно, либо ложно. Если истинны все, решение (или требование, или история) принимается. Обычно их проверяют на приёмочном тестировании пользователями (UAT).
Критерии оценки относятся к нескольким вариантам. У каждого критерия есть метрика на непрерывной или дискретной шкале (стоимость, время отклика, оценка удобства использования), чтобы варианты можно было сравнить и ранжировать. Значения берут из бенчмаркинга, демонстраций или экспертной оценки.

Один и тот же атрибут может выступать в обеих ролях. При выборе между продуктами более дешёвый или более быстрый вариант получает больше баллов. Когда продукт выбран и договор подписан, тот же атрибут становится минимумом или максимумом, который поставщик обязан выдержать.

Когда применять#

До разработки или покупки, чтобы все понимали, что значит «готово» и «достаточно хорошо».
В гибкой разработке, где каждое требование или история должны быть записаны в проверяемом виде.
В договорах и соглашениях с поставщиками, где приёмка должна быть объективной.
При выборе между вариантами решения, вендорами или вариантами дизайна.
При оценке ценности и расстановке приоритетов: критерии делают выгоды конкретными.

Когда не применять или чем дополнить: не пишите подробные критерии приёмки для идей, которые, возможно, никогда не будут реализованы; оставьте их для элементов, работа над которыми вот-вот начнётся. Если выбор связан со сложными компромиссами и неопределённостью, сочетайте критерии оценки с анализом решений. Атрибуты качества сначала найдите с помощью анализа нефункциональных требований.

Как это делать#

Решите, на какой вопрос вы отвечаете. Для вопроса «Приемлемо ли это решение?» нужны критерии приёмки, для вопроса «Какой вариант лучший?» — критерии оценки. Часто нужно и то и другое, именно в таком порядке: оценить варианты, затем определить приёмку для выбранного.
Выявите атрибуты ценности у тех заинтересованных сторон, которые будут принимать решение или выбирать. Спросите, из-за чего они отвергли бы решение и что сделало бы один вариант явно лучше другого.
Сформулируйте критерии приёмки как утверждения «истинно/ложно». Разбейте составные требования на атомарные части, чтобы каждая могла стать тестом. Укажите, кто и как проверяет каждый критерий.
Определите метрики оценки. Для каждого атрибута задайте шкалу, способ измерения и вес, отражающий его важность. Договоритесь об обязательных порогах, при невыполнении которых вариант отсеивается.
Проверьте и согласуйте критерии с заинтересованными сторонами до начала разработки, тестирования или выставления оценок. Зафиксируйте, кто их утвердил.
Примените критерии. Проведите приёмочные тесты или оцените варианты и зафиксируйте подтверждение для каждого результата.
Меняйте критерии осознанно. Если критерии нужно изменить, особенно в договоре, следуйте согласованной процедуре изменений, а не толкуйте их по-новому.

Пример#

«Мастерская» (вымышленная сеть из 12 веломастерских) выбирает сервис онлайн-записи, а затем будет принимать настроенное решение.

Критерии оценки для двух сервисов-кандидатов:

Атрибут	Вес	Шкала	Вариант A	Вариант B
Ежемесячная стоимость для 12 точек	3	от 1 (высокая) до 5 (низкая)	4	3
Отправка сообщений о статусе по SMS и электронной почте	5	от 1 до 5	2	5
Простота работы для стойки приёма (демонстрация сотрудникам)	4	от 1 до 5	4	4
Передача записей в систему учёта запчастей	3	от 1 до 5	3	4
Взвешенная сумма			47	62

Критерии приёмки для одной пользовательской истории «Как клиент, я хочу записаться на ремонт онлайн»:

Дано: в мастерской есть свободное время; когда клиент выбирает его и подтверждает, тогда запись появляется в календаре этой мастерской.
Клиент получает сообщение-подтверждение с датой, временем и адресом мастерской.
Время, забронированное одним клиентом, больше не может выбрать другой.
Сотрудники стойки приёма могут перенести или отменить запись, и клиент получает об этом сообщение.

Частые ошибки#

Расплывчатые критерии вроде «быстро» или «удобно» → сформулируйте измеримое условие и способ его проверки.
Смешение двух видов → держите приёмку «прошло/не прошло» отдельно от сравнительной оценки.
Критерии пишут после разработки → согласуйте их до начала работ, иначе они опишут то, что построили, а не то, что было нужно.
Критерии от одной группы → привлеките тех, кто будет пользоваться решением, сопровождать его и платить за него; согласие разных заинтересованных сторон даётся трудно, поэтому начинайте рано.
Жёсткие договорные критерии → ожидайте юридического или политического сопротивления последующим изменениям и заранее договоритесь о процедуре изменений.
Много критериев без весов → сократите список и задайте веса для самого важного.

Чек-лист#

Понятно, принимаем ли мы одно решение, ранжируем варианты или делаем и то и другое.
Атрибуты ценности согласованы с заинтересованными сторонами, которые принимают решение.
Каждый критерий приёмки — утверждение «истинно/ложно» с назначенным проверяющим.
Составные требования разбиты так, что каждую часть можно протестировать.
У каждого критерия оценки есть шкала, способ измерения и вес.
Пороги отсева указаны.
Критерии утверждены до начала работ или выставления оценок.
Результаты зафиксированы вместе с подтверждениями.

Источники и что почитать#

IIBA. A Guide to the Business Analysis Body of Knowledge (BABOK® Guide), version 3. International Institute of Business Analysis, 2015. Рус. изд.: Руководство к своду знаний по бизнес-анализу (Руководство BABOK®), версия 3.0. Техника 10.1 «Критерии приёмки и оценки».