Добыча данных · Конспекты по бизнес-анализу

Что это#

Руководство BABOK® использует термин «добыча данных» (data mining) как общее название для трёх видов анализа:

Описательный — группировка данных, например кластеризация, чтобы увидеть сходства и различия: какие есть закономерности?
Диагностический — техники вроде деревьев решений или сегментации, которые показывают, почему закономерность существует.
Прогнозный — техники вроде регрессии или нейронных сетей, которые оценивают, насколько вероятно, что что-то окажется верным в будущем.

Руководство BABOK описывает работу как последовательность шагов: выявить требования к анализу, подготовить данные (аналитический набор данных), проанализировать их, применить техники моделирования и внедрить результаты.

Чтобы пользоваться этой техникой, не нужно быть специалистом по данным. Обычно задача бизнес-аналитика — сформулировать вопрос, найти и оценить данные, вести анализ вместе со специалистами, интерпретировать результаты с заинтересованными сторонами и добиться того, чтобы выводы были встроены в процесс или решение.

Руководство BABOK относит технику к задачам «Подготовка к выявлению», «Проведение выявления», «Анализ текущего состояния» и ко всем пяти задачам области «Оценка решения» — от «Измерения эффективности решения» до «Рекомендации действий по увеличению ценности решения».

Когда применять#

Применяйте добычу данных, когда:

у вас большой объём достаточно надёжных исторических данных;
решение повторяется так часто, что более точные прогнозы окупаются;
простые отчёты и метрики перестали отвечать на вопрос;
нужны факты, чтобы проверить допущения или снизить предвзятость в обсуждении.

Не применяйте её, если на вопрос ответит запрос или отчёт, если данных мало или они плохого качества, или если нет ясного решения, в котором будет использован результат. Руководство BABOK также предупреждает: результаты трудно внедрить, если целевое решение неясно; многие техники требуют специальных навыков; заинтересованные стороны могут сопротивляться результатам, которые кажутся им непрозрачными или математически запутанными.

Как это делать#

Начните с решения. Запишите, какое решение будет опираться на анализ и что вы будете делать по-разному в зависимости от ответа.
Определите критерии успеха. Договоритесь, насколько точным должен быть результат, чтобы приносить пользу, и как вы потом измерите влияние на бизнес.
Найдите и оцените данные. Перечислите источники, период, охват и известные проблемы качества. Прежде чем что-либо копировать, проверьте ограничения, связанные с персональными данными и законодательством.
Подготовьте аналитический набор данных. Обычно это одна строка на случай (бронирование, клиент, запчасть) с очищенными полями и производными признаками. Отложите часть данных для проверки.
Изучите данные описательно. Посмотрите на распределения и группировки вместе с заинтересованными сторонами, прежде чем строить какую-либо модель.
Постройте модель. Примените диагностические или прогнозные техники. Всегда сравнивайте результат с простым базовым прогнозом, например «следующий месяц будет таким же, как прошлый».
Проверьте модель. Протестируйте её на отложенных данных. Спросите экспертов предметной области, есть ли смысл в найденных закономерностях, и ищите корреляции, у которых нет правдоподобной причины.
Внедрите результат. Превратите его в то, чем пользуются люди или системы: правило принятия решения, оценку на экране, изменённый процесс.
Отслеживайте. Следите, работает ли модель по-прежнему и улучшился ли бизнес-результат; переобучите модель или выведите её из работы, когда её качество начнёт падать.

Пример#

«Мастерская», вымышленная сеть веломастерских, теряет время механиков из-за клиентов, которые бронируют время и не приходят. Владелец спрашивает, не станет ли хуже с онлайн-записью.

Вопрос и решение: «Какие бронирования, скорее всего, закончатся неявкой, чтобы сотрудники стойки приёма могли отправить дополнительное напоминание или попросить предоплату?»
Данные: бронирования за два года из текущей электронной таблицы: срок между бронированием и визитом, день недели, тип велосипеда, канал, было ли отправлено напоминание, и итог.
Описательный анализ: команда группирует бронирования по сроку до визита и каналу, чтобы увидеть, где сосредоточены неявки.
Диагностический анализ: строится дерево решений, которое показывает, какие сочетания факторов отличают пришедших клиентов от неявок. Допустим, оно указывает на бронирования, сделанные задолго до визита и без напоминания; прежде чем поверить в это, команда проверяет вывод с управляющими мастерских.
Прогнозный анализ: простая модель оценивает риск неявки для каждого нового бронирования.
Внедрение: бронирования с высоким риском запускают второе напоминание; правило о предоплате записано в таблице решений, чтобы его можно было проверять и менять.
Отслеживание: доля неявок по каждой мастерской становится KPI, который проверяют ежемесячно.

Всё это лишь иллюстрация; суть — в цепочке от вопроса к решению и к измерению.

Частые ошибки#

Начинают с данных, а не с вопроса → сначала договоритесь о решении; иначе найдутся закономерности, которыми никто не сможет воспользоваться.
Корреляцию принимают за причину → требуйте правдоподобного механизма и проверяйте его, прежде чем действовать.
Используют информацию, которой нет в момент принятия решения (например, признак «отменено по телефону» при прогнозе неявки в момент бронирования) → стройте признаки только из данных, известных на момент решения.
Проверяют модель на тех же данных, на которых её строили → держите отдельную тестовую выборку.
Игнорируют качество данных → сначала изучите профиль данных; см. измерения качества данных.
Передают «чёрный ящик» → объясняйте модель в бизнес-терминах: необъяснённые результаты игнорируют.
Нет плана внедрения и отслеживания → заранее решите, где будут использоваться результаты и кто будет за ними следить.

Чек-лист#

Бизнес-вопрос и решение, которое он поддерживает, записаны.
Критерии успеха и базовый прогноз для сравнения согласованы.
Источники данных, период и проблемы качества задокументированы.
Ограничения, связанные с персональными данными и законодательством, проверены.
Результаты проверены на отложенных данных и экспертами предметной области.
Есть план внедрения: правило, изменение процесса или системы.
Есть ответственный за отслеживание после запуска.

Источники и что почитать#

IIBA. A Guide to the Business Analysis Body of Knowledge (BABOK® Guide), version 3. International Institute of Business Analysis, 2015. Рус. изд.: Руководство к своду знаний по бизнес-анализу (Руководство BABOK®), версия 3.0. Техника 10.14 «Добыча данных».
Watermark Learning. BABOK v3 Study Tables. 2016 (учебное пособие к Руководству BABOK). Техника 10.14.