Измерения качества данных
Коротко Измерение качества данных (data quality dimension) — измеримый аспект данных, например полнота или точность. Если выбрать подходящие измерения и регулярно их замерять, расплывчатые жалобы на «плохие данные» превращаются в числа, которые можно отслеживать и улучшать.
По материалам: DAMA International, «DAMA-DMBOK: Свод знаний по управлению данными», 2-е изд., гл. 13 «Качество данных», где обобщены работы Л. Инглиша (1999) и DAMA UK (2013).
На этой странице
Главные идеи#
Не путайте эти измерения с атрибутами качества требований или программного обеспечения. Те описывают, насколько хорошо написано требование или как ведёт себя система. Измерения качества данных описывают сами данные. DMBOK признаёт, что единого согласованного набора нет, и приводит несколько.
Инглиш: неотъемлемые и утилитарные характеристики#
Ларри Инглиш (Larry English, 1999) делит характеристики качества данных на две группы: - Неотъемлемые (inherent): не зависят от того, как используются данные. Это соответствие определениям, полнота значений, соответствие бизнес-правилам, соответствие источнику и реальности, точность (precision), отсутствие дублей и согласованность избыточных или распределённых копий. - Утилитарные (pragmatic): зависят от того, как данные представлены и используются. Это доступность, актуальность, ясность в контексте, удобство использования, целостность производных данных и корректность фактов.
DAMA UK: шесть ключевых измерений#
В 2013 году DAMA UK предложила шесть ключевых измерений: полнота, уникальность, актуальность, допустимость, точность и согласованность. Она также назвала родственные качества — удобство использования, гибкость, доверие и ценность, — но не отнесла их к измерениям.
Практический рабочий набор#
DMBOK сводит эти версии к рабочему набору. Показатели в таблице — один из практических способов оценить каждое измерение.
| Измерение | На какой вопрос отвечает | Как измерить |
|---|---|---|
| Полнота | Есть ли обязательные значения? | Доля записей, в которых заполнены все обязательные поля. Задайте отдельные правила для обязательных, условно обязательных и необязательных полей. |
| Точность | Соответствует ли значение реальности? | Сравните выборку с авторитетным эталоном (официальным реестром, надёжным справочником, физическим пересчётом). Укажите долю совпадений. |
| Согласованность | Согласуются ли значения друг с другом? | Проверки правил на трёх уровнях: внутри записи (дата окончания позже даты начала), между записями (итоги совпадают с детализацией) и во времени (нет необъяснимых скачков). Укажите долю записей, прошедших проверку. |
| Актуальность | Достаточно ли свежи данные? | Синхронизирована ли копия с источником (единственная полностью объективная проверка), а также задержка между изменением в реальном мире и его записью в сравнении с согласованным пределом. |
| Допустимость | Соответствует ли значение формату, типу и списку допустимых значений? | Доля значений, прошедших проверки формата, диапазона и справочника кодов. Допустимое значение всё равно может оказаться неверным. |
| Разумность | Имеют ли данные смысл? | Сравните распределения с историей или с контрольным набором, например продажи по регионам — с известным спросом. Отметьте результаты, выходящие за согласованные допуски. |
| Уникальность | Каждый ли реальный объект записан один раз? | 1 − (число дублей ÷ общее число записей) по согласованным правилам сопоставления. |
Два принципа из DMBOK помогают применять эти показатели на практике: - Задавайте пределы актуальности с учётом изменчивости данных. Коды стран могут не меняться годами, а курсы акций меняются ежесекундно. Единый стандарт для всех данных не имеет смысла. - Калибруйте разумность со временем. Начните с допусков на основе истории или контрольного набора, затем уточните их после первых раундов измерений и следите за трендом. Без доли субъективного суждения не обойтись, поэтому согласуйте пределы с теми, кто пользуется данными.
Как применять#
- Выберите критичные данные. Начните с немногих элементов данных, ошибки в которых обходятся дороже всего.
- Выберите измерения для каждого элемента. Не каждое измерение важно для каждого элемента.
- Запишите каждое как правило с порогом, например «не менее 98% активных клиентов имеют корректный мобильный номер».
- Замерьте исходный уровень, затем измеряйте регулярно и следите за трендом.
- Найдите корневые причины сбоев — обычно они кроются во вводе данных, в интеграциях или в отсутствующих правилах.
- Назначьте каждому правилу владельца, обычно распорядителя данных.
- Превратите пороги в требования к новым системам, например в проверку при вводе или контроль дублей.
Шаблон#
| Элемент данных | Измерение | Правило | Порог | Как измеряется | Как часто | Владелец |
|----------------|-----------|---------|-------|----------------|-----------|----------|
| | | | | | | |
Пример#
«Мастерской», вымышленной сети веломастерских, нужны надёжные уведомления о статусе ремонта. Аналитик определяет правила (все целевые значения условные): - Полнота: доля активных клиентов с мобильным номером, цель — 98%. - Допустимость: мобильные номера в согласованном национальном формате, цель — 99%. - Уникальность: дубли клиентов во всех 12 мастерских, сопоставление по имени и телефону, цель — меньше 1%. - Актуальность: статус ремонта обновляется в течение 15 минут после того, как механик закончил работу, потому что клиенты действуют по уведомлению. - Точность: ежемесячно выборку из 50 записей о складских остатках запчастей сверяют с физическим пересчётом. - Разумность: число бронирований в день по каждой мастерской сравнивают с тем же днём недели за последние восемь недель; падение больше чем вдвое запускает проверку системы бронирования.
Исходный замер показывает полноту 85%: сотрудники стойки приёма пропускают поле телефона, когда клиент приходит без записи. Исправление становится требованием: мобильный номер обязателен для любого бронирования, в котором клиент просит присылать уведомления.
Подводные камни#
- Измерять всё подряд → сосредоточьтесь на данных, от которых зависят важные решения или процессы.
- Принимать допустимость за точность → правильно оформленный номер телефона всё равно может принадлежать другому человеку.
- Исправлять данные, не устраняя причину → прослеживайте сбои до того места, где данные создаются.
Источники и что почитать#
- DAMA International. DAMA-DMBOK: Data Management Body of Knowledge, 2nd ed. Technics Publications, 2017. Рус. изд.: DAMA-DMBOK: Свод знаний по управлению данными, 2-е изд. М.: Олимп-Бизнес, 2020. Гл. 13 «Качество данных» (включая обзоры работ Л. Инглиша, 1999, и измерений DAMA UK, 2013).