Основы проектирования Business Intelligence (QlikView)

<<< Вернуться в основной раздел “QlikView — краткий учебник”

Contents

Основы проектирования структуры приложений Business Intelligence

В данной статье будут рассмотрены основы проектирования business intelligence систем, в частности QlikView. А также приведены модели данных по отраслям. Данная статья будет полезна архитекторам Business Intelligence систем.

Enterprise Data Warehouse Bus Matrix

Enterprise Data Warehouse Bus Matrix – это модель, созданная Ralph Kimball для планирования и моделирования многомерных баз данных, отображает соответствие бизнес-процессов и измерений. Основной смысл этой матрицы – создание логической модели приложения BI в связке с бизнес-процессами предприятия/компании, обеспечивая высокоуровневую интеграцию между информационными системами предприятия/компании. Данная модель – это базис, основа проектирования систем бизнес-аналитики (Business Intelligence).

Enterprise data warehouse bus с общими измерениями

enterprise_data_warehouse_bus_with_shared_dimensions

Общие измерения, типы таблиц фактов и бизнес-процессы

sharing_dimensions_among_business_processes

Business Intelligence Solution Conceptual Framework

Инициативы по бизнес-аналитике фокусируются на информации, которая необходима для поддержки принятия решений на различных уровнях в организации:

  • Executive Level: Поддерживает стратегические решения,
  • Management Level: Поддерживает тактические решения,
  • Process Level: Поддерживает операционные решения.

Business_Intelligence_Solution_Conceptual_Framework

Модель данных для BI-решения

В основе BI-решения может лежать три типа модели данных:

  1. Схема “Звездочка” – есть измерения и таблица фактов (отдельные факты размещаются в колонках).
  2. Схема “Снежинка” – есть измерения (некоторые измерения состоят из нескольких таблиц для отображения различных взаимосвязей, в том числе иерархии) и таблица фактов (отдельные факты размещаются в колонках).
  3. Схема “Многомерный куб” – есть измерения и факты (факты переведенены из колонок в строки). Иногда данная модель удобней для тех или иных приложений.
  4. Схема “Таблица” – измерения и факты представлены в виде одной таблицы. Вес модели увеличивается, но возрастает скорость отклика модели.
  5. Схема “Созвездие” – получается из нескольких таблиц фактов, которые соединяются между собой по той или иной логике (существует несколько вариантов). С данной схемой следует работать очень аккуратно, т.к. сложнее строить логику работы визуализации и модели в целом, ввиду наличия ассоциативного механизма QlikView.

Схема звезда – наглядное представление модели данных

Схема звезда QlikView

Пример схемы “Звезда”

Схема звезда в проектировании BI

Пример схемы “Снежинка”

Схема снежинка в проектировании BI

Пример схемы “Созвездие”

Схема созвездие в проектировании BI

Типы таблиц фактов

Существует три типа таблиц фактов: транзакционные (transaction), снимок данных по периодам (periodic snapshot) и накапливаемый снимок данных (accumulating snapshot).

Транзакционная таблица фактов

Наиболее фундаментальный вид бизнес-операций – это транзакционный уровень хранения данных. Эти факты представляют собой события, которые произошли в мгновенный момент времени. Строка существует в таблице фактов с взаимосвязью с клиентом или продуктом, если только произошло транзакционное событие. Транзакционные данные легко размещаются в Dimensional модели (многомерной модели данных).

Таблица фактов с разбитыми данными по периодам

Периодические снимки данных нужны для того, чтобы увидеть итоговую производительность по периодам (предсказуемым интервалам времени). В отличие от транзакционной модели таблицы фактов, где строка является некоторым событием, снепшот/snapshot данных в периодичной модели формируется в конце заданного периода времени (в конце недели, месяца, квартала, года) и выполняется по завершению каждого периода. Служит данная модель для анализа тенденций бизнеса. Строка в снепшоте периода – это совокупность транзакционных строк, над которыми были произведены операции агрегации по заданному алгоритму. Алгоритм схлопывания транзакций реализуется в ETL-процессе в ходе внедрения BI системы.

Таблица фактов с накапливаемыми данными

Третья модель таблицы фактов – накопительный снепшот/snapshot. Накопительный снимок данных – это процессы, с заданными началом и концом, а также с промежуточными стадиями процесса. Накопительный снепшот полезен, когда пользователям бизнес-аналитики необходимо достигнуть заданной цели. В приложении отображаются вехи по датам и формируются системные сообщения (alerts), которые информируют о тех или иных проблемах.

Сравнительная таблица

fact_tables

Транзакционная таблица фактов Таблица фактов периодических моментальных снимков Таблица фактов кумулятивных моментальных снимков
Определение гранулированности таблицы фактов Одна строка на бизнес-операцию Одна строка на период Одна строка для всего периода завершенного события
Измерения Используют факты на самом низком уровне детализации по измерению “дата/время” Используют факты на самом некотором уровне агрегации по измерению “дата/время” (по концу периода) Используют факты по нескольким измерениям “дата/время” для фиксации результатов в различных контрольных точках
Общее количество задействованных измерений Больше, чем в таблицах фактов периодических снимков Меньше, чем в транзакционных таблицах фактов Наибольшее количество измерений для таблиц фактов
Факты Факты связаны с операционной деятельностью Факты связаны с периодической деятельностью Факты связаны с деятельностью, которая имеет определенное время существования
Обновления Не допускаются Не допускаются Допускаются
Кардинальность таблицы фактов Растет быстро Растет медленнее, чем в транзакционных таблицах фактов Растет медленнее, чем в таблицах фактов периодических моментальных снимков

Разработка QlikView решений по отраслям

Меня всегда мучал вопрос – разбираться во многих отраслях – это хорошо или плохо? Для узкого специалиста, который работает в бизнесе, наверное не очень. А вот для консалтинга в сфере ИТ – это невероятное преимущество, которое выливается в качество и скорость внедрения, за счет комбинации разноплановых знаний! На рынке BI в России по клику есть одна компания, которая с легкостью реализует решения во многих сферах бизнеса – один из нескольких лидеров рынка QlikView и Qlik Sense, BIConsult – консалтинг и интегратор систем бизнес-аналитики.

Модель зрелости BI – Maturity Model

Модель зрелости BI-системы (maturity model) – модель, которая позволяет определять/оценивать этап развития системы, проектов, а также их влияние на процессы компании. С помощью модели зрелости можно наметить цели для дальнейшего развития информационных систем, чтобы сделать компанию более конкурентоспособной, а процессы управления информацией вывести на более продвинутый уровень.
bi_capability_maturity_model

BI_Capability_Model

large_mat_model

Обзор проектирования BI-решений по отраслям

Inventory – Учет запасов

Bus Matrix

Inventory_bus_matrix
Inventory_stakeholders_bus_matrix

Inventory Periodic Snapshot

Inventory Periodic Snapshot

Inventory Transactions

Inventory Transactions

Inventory Accumulating Snapshot

inventory_accumulating_snapshot

Procurement – Управление закупками и поставками

Bus Matrix

Procurement_bus_matrix

Procurement Transactions

Procurement Transactions

Complementary Procurement Snapshot

Complementary Procurement Snapshot

Order Management – Управление заказами

Bus Matrix

Order_Management_Bus_matrix

order_management_date_bus_matrix

Order Transactions

Order Transactions

Invoice Transactions

Invoice Transactions

Accumulating Snapshot for Order Fulfillment Pipeline

Accumulating Snapshot for Order Fulfillment Pipeline

Accounting – Бухгалтерский и управленческий учет

Bus Matrix

Accounting_bus_matrix

Period Close

Period Close

General Ledger Journal Transactions

General Ledger Journal Transactions

Budgeting Process

Budgeting Process

Consolidated Fact Tables

Consolidated Fact Tables

Human Resources Management – Управление людскими ресурсами

Bus Matrix

Human_Resources_Management_bus_matrix

Financial Services – Финансовое обслуживание

Bus Matrix

Financial_Services_bus_matrix

Telecommunications – Телекоммуникационные услуги

Bus Matrix

Telecommunications_bus_matrix

Transportation – Управление транспортом

Bus Matrix

Transportation_bus_matrix

Education – Образование

Bus Matrix

Education_bus_matrix

Healthcare – Здравоохранение

Bus Matrix

Healthcare_bus_matrix

Electronic Commerce – Электронная коммерция

Bus Matrix

Electronic_Commerce_bus_matrix

Insurance – Страхование

Bus Matrix

Insurance_bus_matrix

Insurance_bus_matrix_detailed

Применение информационно-аналитических систем

Информационно-аналитические системы (ИАС) позволяют реализовать все основные функции информационной поддержки деятельности предприятия любого масштаба от малого или среднего бизнеса до крупного глобального холдинга.

Финансовая аналитика

В области финансовой аналитики ИАС дает возможность понять какие показатели являются ключевыми, определяющими и управлять ключевыми параметрами, от которых зависят дивиденды по акциям и прибыль. Использование финансовой аналитики помогает менеджеру среднего звена улучшить финансовые показатели за счет использования полной и актуальной информации относительно вклада данного подразделения в общие расходы и прибыль компании. Информационно-аналитическая система позволяет контролировать и отображать в случае необходимости сотни ключевых показателей и десятки форм отчетов, что дает возможность финансовому менеджеру улучшить денежные потоки, снизить издержки и увеличить прибыль, одновременно поддерживая более точную, аккуратную, своевременную и транспарентную финансовую отчетность.

Преимущества применения финансовой аналитики ИАС заключаются в следующем:

  • Контроль платежеспособности – обеспечивается управление наличностью и мониторинг операционной эффективности и платежеспособности департаментов при одновременном снижении издержек.
  • Оборачиваемость – мониторинг цикла движения наличности для управления капиталом, коллекторской деятельностью и риском платежеспособности.
  • Своевременное ведение и анализ данных Главной книги обеспечивает управление финансовыми показателями в разрезе связей с клиентами, анализ данных в разрезе продукции и регионов и получение в реальном времени тревожных предупреждающих сигналов о событиях, которые могут повлиять на финансовые условия.
  • Прибыльность – идентификация наиболее прибыльных патентов, продуктов, а также память и понимание ведущих показателей и условий прибыльности по районам, отделениям и центрам прибыли.

Маркетинговая аналитика

В области маркетинговой аналитики ИАС обеспечивает получение максимального результата от инвестиций в маркетинг. Маркетинговая аналитика позволяет достичь наилучших показателей за счет предоставления всей маркетинговой команде полной (вплоть до минуты) картины пользовательских предпочтений, поведения клиентов при покупке товаров и сведений о прибыльности маркетинговых стратегий. Маркетинговая аналитика помогает сблизиться с наиболее ценными клиентами, расширить сотрудничество с ними и улучшить эффективность маркетинга.
Преимущества, предоставляемые ИАС:

  • В области маркетингового планирования – позволяет достичь лучших результатов по расходам на маркетинговые кампании, построить профили клиентов для более эффективного проведения маркетинговых акций и проводить эти кампании более эффективно, выявив движущие силы маркетинговой кампании и улучшить ее эффективность.
  • В оценке показателей эффективности маркетинговых кампании – осуществляет трассировку (пошаговый мониторинг) и измерение показателей эффективности кампании в реальном времени, облегчает понимание факторов, определяющих успех кампании, сравнение метрик отдельных маркетинговых кампаний по их результативности.

Аналитика логистики и цепочек поставок

В области аналитики логистики и цепочек поставок ИАС обеспечивает лучшее управление при возникновении сложностей в цепочке поставок. Предоставляет реальную, вплоть до минуты картину на складах, поставках, отправке и поступлении, а также характеристики поставки, обеспечивая возможность лучше управлять соглашениями с клиентами, одновременно оптимизируя хранение и затраты поставщиков. Большое количество заранее запрограммированных отчетов и “приборных досок” дают исчерпывающую картину относительно состояния дел в подразделениях продаж, логистики, отгрузки, производства и контроля качества.
Преимущества:

  • В части поставки и отгрузки система дает детальную наблюдаемость относительно прямых и косвенных затрат и определения возможности минимизировать затраты и уменьшить стоимость.
  • В части оценки характеристик поставщиков – мониторинг цен, отгрузки, качества продукции для определения поставщиков с наилучшими и наихудшими показателями.
  • В части хранения – дает наглядную картину складской деятельности с целью минимизации расходов, которые не являются необходимыми, и оптимизировать складское хозяйство, чтобы сохранить рабочий капитал.

Аналитика торговли и продаж

В области аналитики торговли и продаж ИАС значительно повышает эффективность менеджеров по продажам. Система позволяет контролировать сотни ключевых показателей – индикаторов и большое количество отчетов. Обеспечивает в реальном времени ориентированную на принятие решений картину на каждую возможность роста объема продаж. Обеспечивает более точное прогнозирование продаж и расширенные возможности, идентификацию возможных проблем и возможностей.
Преимущества:

  • Анализирует возможности цепочек поставки, чтобы определить действия, необходимые для удовлетворения целей рынка.
  • Определяет, какие сегменты продуктов и клиентов приносят наибольший доход.
  • Идентифицирует возможности перекрестных продаж и продаж более общей номенклатуры товаров.

Стратегическая и операционная BI

Напоследок две картиночки:
Компоненты стратегической BI
Компоненты операционной BI

Нортон, Каплан – Система сбалансированных показателей

ScoreCard_Models_Types

strategic_map

Парадигма организации пространства данных в BI-системах

dashboard_category
data_warehouse_and_bi_dashboard_paradigm
performance_measurement_and_dashboards

Использованная литература в ходе написания статьи

<<< Вернуться в основной раздел “QlikView — краткий учебник”


Комментарии:

Основы проектирования Business Intelligence (QlikView): 2 комментария

  1. Интересный текст!

    Хотел еще обратить внимание на одну схему данных, которую мне приходилось применять – это Созвездие. Когда существует несколько отдельных таблиц фактов, связанных между собой общими унифицированными измерениями. Можно конечно считать ее разновидностью схемы Звезда.

    • Алексей, добрый день!

      Спасибо за Ваш комментарий! Да, безусловно, схема созвездие заслуживает внимание! Но с ней стоит аккуратно работать, т.к. при накоплении исторических данных данная схема будет возможно работать не очень оптимально.
      В будущем добавлю информацию в статью. 🙂 У меня еще есть наработки по моделям данных для клика, но это заслуживает отдельной статьи.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *