Системы бизнес-интеллекта и аналитические приложения (Д. Исаев, "Финансовая газета", N 31, 32, август 2005 г.)

Системы бизнес-интеллекта и аналитические приложения

Информационную инфраструктуру компании можно представить в виде нескольких иерархических уровней, каждый из которых характеризуется степенью агрегированности информации и своей ролью в процессе управления. В качестве примера схематического представления информационной инфраструктуры можно привести так называемую "аналитическую пирамиду" (analytical stack), разработанную компанией Gartner (см. рисунок). В этой иерархии прослеживается несколько уровней:

"Аналитическая пирамида"

Аналитическая пирамида

уровень транзакционных систем;

уровень систем бизнес-интеллекта, включающий хранилища данных, витрины данных и OLAP-системы;

уровень аналитических приложений.

Основанием аналитической пирамиды служат ERP и другие транзакционные системы. По мере движения от основания пирамиды к ее вершине происходит постепенное преобразование детальных операционных данных в агрегированную информацию, предназначенную для поддержки принятия управленческих решений.

Следует отметить, что отнести тот или иной программный продукт к какому-либо одному классу не всегда возможно, поскольку многие системы позволяют решать аналитические задачи нескольких категорий. К числу "многофункциональных" можно отнести системы таких мировых производителей, как Hyperion Solutions Corp., Cognos, Business Objects, Microsoft. Типичным примером универсальной системы может служить Hyperion Essbase - аналитическая платформа класса OLAP, предназначенная для решения довольно широкого круга задач. Но, будучи OLAP-системой, Hyperion Essbase обеспечивает решение части задач, относящихся к информационно-аналитическим системам, а также выполнение функций выявления закономерностей в данных, построения запросов и отчетов. Кроме того, в некоторых случаях OLAP может использоваться в качестве многомерного хранилища данных или в качестве аналитической "прослойки" в крупных компаниях.

Уровень транзакционных систем

К транзакционным относятся ERP-системы, автоматизированные банковские системы (АБС), биллинговые системы, учетные системы и др. Часто для их обозначения используется термин OLTP (On-Line Transaction Processing - обработка транзакций в режиме реального времени). Эти системы представляют собой источники первичной информации, используемой для аналитической обработки. Данные из этих источников требуется собрать, структурировать и представить в виде, удобном для принятия решений. Сами транзакционные системы тоже содержат некоторые аналитические возможности, но, строго говоря, не относятся к категории аналитических систем. В то же время именно они являются поставщиками информации для систем бизнес-интеллекта и аналитических приложений.

Важно отметить, что передача данных из транзакционных систем в аналитические приложения может производиться как последовательно, через все обозначенные ярусы аналитической пирамиды (хранилища данных, OLAP-системы), так и более коротким путем, минуя один или несколько уровней (это отражено на схеме в виде стрелочки bypass - "прямая передача"). Способ передачи данных зависит как от технических возможностей программных продуктов, так и от того, каким образом предполагается использовать те или иные данные.

Системы бизнес-интеллекта

Понятие систем бизнес-интеллекта (Business Intelligence, BI) объединяет различные средства и технологии анализа и обработки данных масштаба предприятия. Среди BI-систем можно выделить такие составляющие, как хранилища данных (Data Warehouse), витрины данных (Data Marts), инструменты оперативной аналитической обработки (On-Line Analytical Processing, OLAP), средства обнаружения знаний (Data Mining), а также инструменты конечного пользователя, предназначенные для выполнения запросов и построения отчетов.

Хранилища данных (Data Warehouse) находятся на следующем, после транзакционных систем, уровне аналитической пирамиды. Один из авторитетных специалистов в этой области Билл Инмон определяет хранилища как "предметно-ориентированные, интегрированные, стабильные, поддерживающие хронологию наборы данных, организованные для целей поддержки управления, призванные выступать в роли "единого и единственного источника истины", обеспечивающего менеджеров и аналитиков достоверной информацией, необходимой для оперативного анализа и принятия решений". Ценность хранилищ данных для менеджеров и экономистов заключается в том, что это некая база данных масштаба предприятия, которая содержит определенную аналитическую информацию, обеспечивает ее оперативное представление в удобном для пользователя виде и обладает структурой, учитывающей отраслевую специфику деятельности организации. Впрочем, данные, содержащиеся в хранилищах, как правило, бывают недостаточно доступными для обработки в реальном времени, особенно при больших объемах. Эта проблема решается на следующих уровнях иерархии - на уровнях витрин данных и OLAP-систем.

Витрины данных (Data Marts), как и хранилища, представляют собой структурированные информационные массивы. Их отличие состоит в том, что они в еще большей степени являются предметно-ориентированными. Как правило, витрина содержит информацию, относящуюся к какому-либо определенному направлению деятельности организации, поэтому она хранится в специальном виде, наиболее подходящем для решения конкретных аналитических задач или обработки запросов определенной группы аналитиков.

Есть два взгляда на витрины данных. В одном случае витрина, по сути дела, представляет собой часть хранилища, оптимизированную для запросов к данным конкретной предметной области, в том числе для передачи этих данных для последующей обработки в OLAP-систему. В другом случае витрина - это OLAP-куб или его часть, оптимизированная для запросов пользователей к данным конкретной предметной области. Поэтому с точки зрения организации хранения данных витрины могут быть как реляционными, так и многомерными, но в любом случае они обладают таким общим свойством, как предметная ориентированность.

Следующий уровень пирамиды - OLAP-системы (On-Line Analytical Processing). Под термином OLAP, как правило, понимают системы аналитической обработки данных в режиме реального времени. OLAP-системы могут обеспечить решение многих аналитических задач: анализ ключевых показателей деятельности, маркетинговый и финансово-экономический анализ, анализ сценариев, моделирование, прогнозирование и т.д. Такие системы могут работать со всеми необходимыми данными независимо от особенностей информационной инфраструктуры компании.

Специфика OLAP-систем состоит в многомерности хранения данных (в противовес реляционным таблицам), а также в предрасчете агрегированных значений. Это дает пользователю возможность строить оперативные нерегламентированные запросы к данным с использованием аналитических измерений. Кроме того, для OLAP-систем характерна предметная (а не техническая) структурированность информации, позволяющая пользователю оперировать привычными экономическими категориями и понятиями. Типичным представителем программных продуктов этого класса является разработка корпорации Hyperion - OLAP-сервер Hyperion Essbase.

Еще одним элементом BI-платформы, который часто выделяют в отдельную категорию, являются средства обнаружения знаний (Data Mining). Соответствующие программные продукты обеспечивают выявление закономерностей в данных, что позволяет аналитику получать качественно новую информацию (возможно, не содержащуюся в источнике данных явным образом) и таким образом формировать знания на основе данных. г. Пиатецкий-Шапиро, один из ведущих мировых экспертов в этой области, определяет Data Mining как "процесс обнаружения в сырых данных ранее не известных нетривиальных практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности". Здесь используются такие методы анализа данных, как фильтрация, дерево решений, ассоциативные правила, генетические алгоритмы, нейронные сети, статистический анализ.

Наконец, следует упомянуть инструменты для выполнения запросов и построения отчетов (Query and Reporting tools). Такие системы обеспечивают функции построения запросов к информационно-аналитическим системам (в пользовательских терминах), интеграцию данных из нескольких источников, их просмотр с возможностью детализации и обобщения, построение полноценных отчетов и их печать. Они могут использоваться пользователями, обладающими "продвинутыми" техническими навыками. При этом профессиональных знаний в области информационных технологий не требуется, тем не менее для экономистов такие средства не всегда бывают удобны. Как правило, модули, содержащие функции Query & Reporting, входят в состав многих OLAP-систем, но есть и отдельные программные продукты этого класса.

Системы бизнес-интеллекта, включающие реляционные и многомерные базы данных, в свою очередь служат основой для систем верхнего уровня аналитической пирамиды - аналитических приложений.

Аналитические приложения

Высший уровень аналитической пирамиды - уровень аналитических приложений (analytical applications). Это информационные системы, позволяющие удовлетворять потребности организаций в автоматизации процессов обработки, анализа и оптимизации бизнес-процессов. Здесь пользователь применяет привычные для него инструменты, обеспечивающие реализацию методик управления. Такие системы могут быть довольно разнообразными - от простейших электронных таблиц до специализированных приложений для решения задач бюджетирования, консолидации финансовой отчетности, бизнес-моделирования.

Как следует из названия, аналитические приложения нацелены на проведение анализа, целью которого является более глубокое понимание и осознание того, что произошло, происходит или произойдет. В этом смысле аналитические приложения действительно отличаются от транзакционных систем, ориентированных прежде всего на обработку отдельных операций, но в то же время дополняют их, образуя в совокупности многофункциональную комплексную систему управления.

Чтобы система могла считаться аналитическим приложением, она должна:

обеспечивать структуризацию и автоматизацию процессов, способствующих повышению качества управленческой информации, что в свою очередь приводит к повышению качества принятия решений. Это достигается путем применения правил, процедур и технологий (основанных на соответствующей методологии), направленных на решение определенных бизнес-проблем;

поддерживать аналитические функции, т.е. действия по анализу данных, полученных из разных источников (внутренних или внешних, финансовых или операционных), включая анализ трендов и прогнозирование ситуации в будущем;

быть самостоятельным программным продуктом, способным работать независимо от транзакционных систем, но в то же время взаимодействовать с ними "в обе стороны" как в части получения транзакционных данных, так и в части обратной передачи результатов их обработки.

Более того, аналитические приложения часто имеют дело с нестандартными, непредсказуемыми или редкими ситуациями. Такие ситуации могут возникать, например, при запуске в производство нового продукта, моделировании новой корпоративной структуры или создании нового подразделения, а также при оценке последствий слияний и приобретений, пересмотре бюджетов и т.п.

Аналитические приложения часто основаны на многомерных базах данных (что также отличает их от транзакционных систем, использующих реляционные базы данных). Это позволяет эффективно использовать как все необходимые данные, так и бизнес-правила, описывающие их взаимосвязи с точки зрения определенных бизнес-задач.

К аналитическим приложениям относятся системы управления эффективностью бизнеса (Business Performance Management, BPM), предназначенные для широкого круга задач: анализ и оптимизация финансовых индикаторов, определение стратегии развития компании, бюджетное планирование, финансовая консолидация. Системы бюджетирования и консолидации были созданы в числе первых готовых аналитических приложений, поскольку эти задачи хорошо проработаны методологически, понятны большинству руководителей и применяются практически во всех отраслях. В последние годы произошел качественный скачок в плане разработки интегрированных систем, включающих ряд новых функций бюджетного планирования и прогнозирования, финансовой консолидации, функционально-стоимостного анализа и стратегического управления бизнесом.

Важно не путать аналитические приложения с системами бизнес-интеллекта: их функциональность существенно отличается от BI-систем в трех аспектах - в предметной специализации, в сегментации рынка и в структуре. Что касается предметной специализации, то аналитические приложения предназначены для обеспечения выполнения определенных аналитических бизнес-процессов, в то время как средства BI имеют более общие функции. С некоторой долей условности можно сказать, что с аналитическими приложениями работают конечные пользователи-аналитики, а BI-системы используют технические специалисты в качестве инструмента для создания аналитических приложений для этих же пользователей. С точки зрения сегментации рынок аналитических приложений может быть структурирован в зависимости от вида бизнес-процессов (например, маркетинг, операционное планирование, бюджетирование, консолидация финансовой отчетности), а рынок средств BI - в зависимости от типа архитектуры каждой из систем (например, системы Data Mining или OLAP). С точки зрения структуры аналитические приложения помогают пользователям координировать бизнес-процессы и получать определенный результат (например, разработанный бюджет или оценку деятельности основных поставщиков), в то время как средства BI поддерживают функции, которые заранее в системе не предопределены (построение пользовательских запросов, проведение специализированного анализа и др.).

Следует отметить, что развитие аналитических приложений и систем бизнес-интеллекта тесно взаимосвязано. Аналитические приложения способствуют увеличению числа пользователей BI-средств, поскольку именно BI-технологии лежат в основе многих готовых предметно-ориентированных приложений. В то же время было бы неверным считать, что аналитические приложения могут полностью заменить BI-системы: потребность в настраиваемых программных продуктах, выполняющих специфические функции, не только существует, но и будет расти по мере возникновения новых задач в области анализа данных.

Взаимодействие аналитических приложений и систем бизнес-интеллекта

С помощью аналитических приложений и систем бизнес-интеллекта современные компании стремятся решить ряд традиционных корпоративных задач, к которым относятся: стратегическое управление, бюджетирование, планирование и прогнозирование, формирование и анализ консолидированной финансовой отчетности, применение методов функционально-стоимостного управления, анализ финансовой и операционной деятельности, анализ взаимоотношений с контрагентами и др. Для решения этих задач необходимо также определиться с основными техническими вопросами:

где и как хранить исходную и результирующую корпоративную информацию;

какие средства использовать для обработки данных (по перечисленным выше аналитическим задачам);

как обеспечить правильное и своевременное предоставление управленческой информации в отчетах.

Рассмотрим взаимосвязь аналитических программных средств на примере автоматизации процессов управления крупной компании. С точки зрения движения информационных потоков можно выделить три этапа - хранение информации, ее обработка и предоставление, анализ информации.

Этап 1 - хранение информации. Информационная система любого среднего или крупного предприятия предполагает наличие какого-либо хранилища данных. Объем базы данных хранилища и ее структура зависят от масштабов организации и ее специфики. Если это многопрофильная транснациональная корпорация, работающая в нескольких странах, или структура холдингового типа, то вероятно, что в разных отделениях и дочерних компаниях используются различные хранилища данных. В то же время для обеспечения функций хранения и сбора информации из различных источников компания должна использовать централизованное хранилище данных.

Этап 2 - предварительная обработка и предоставление информации. Следует отметить, что не всегда и не вся информация, имеющаяся в хранилище данных, необходима для дальнейшего анализа. В таком случае компании рекомендуется организовать "аналитическую прослойку" между пользовательскими аналитическими приложениями и хранилищем. Этот инструмент должен выполнять функции аналитической платформы: обеспечивать хранение информации, необходимой для анализа, и проводить ее предварительную аналитическую обработку. В качестве такого средства может выступать OLAP-система. Кроме того, она может использоваться как многомерное хранилище - в тех компаниях, где анализируемых данных не так много и в которых построение реляционного хранилища данных вряд ли оправданно. Многие современные OLAP-системы также позволяют представлять информацию в удобном для пользователя виде.

Этап 3 - анализ информации. На этом этапе средствами аналитических приложений решается широкий круг задач корпоративного управления. В качестве исходной информации применяются данные, хранящиеся в многомерной базе данных (OLAP). Результаты анализа могут использоваться как внутри организации, так и для предоставления внешним пользователям.

ETL-системы

Весьма актуальным является вопрос о взаимодействии систем, находящихся на разных уровнях аналитической пирамиды, и в этой связи нельзя не упомянуть программные продукты еще одного класса - ETL.

Под термином ETL (extraction, transformation, loading - извлечение, преобразование, загрузка) понимают три основных процесса, используемых при переносе данных из одной системы в другую. Программные средства этой категории извлекают исходную информацию из определенного источника, преобразуют ее в формат, поддерживаемый базой данных назначения, а затем загружают в базу назначения уже преобразованную информацию.

В части извлечения данных (extraction) ETL-системы могут использоваться без написания кода для открытия файлов или чтения записей, хотя и требуют весьма трудоемкой настройки (как показывает практика, настройка ETL может составлять до 80% затрат на создание хранилища данных). Более того, некоторые ETL-системы включают предварительно созданные процедуры извлечения данных из наиболее популярных транзакционных систем (впрочем, функциональность таких стандартных процедур часто оказывается довольно ограниченной).

По завершении извлечения данных требуется их преобразование (transformation) - подготовка к размещению в новой базе данных. Есть несколько способов преобразования, к ним относятся очистка, агрегирование, перевод значений и создание полей.

Очистка (cleaning) применяется для того, чтобы отсеять неточные или неоправданно повторяющиеся данные из других систем. При очистке можно проверить корректность диапазонов числовых значений, приемлемость дат и т.д. Процедуры очистки используются и тогда, когда одно и то же значение представлено в разных формах (например, разные по форме варианты названия компании - "Hyperion", "Hyperion Solutions Corp.", "корпорация Hyperion" могут быть заменены на какое-то одно). Очистка также может применяться для согласования атрибутов полей (чтобы они соответствовали единой нормативно-справочной информации).

В процессе агрегирования (aggregation) многочисленные детальные записи заменяются на относительно не большое количество обобщенных записей. В результате удается избежать излишней детализации и предоставить управленческую информацию в более удобном для анализа виде.

Перевод значений (value translation) - еще одна распространенная процедура преобразования. Ее необходимость вызвана тем, что во многих системах данные часто хранятся в закодированном виде (например, персональный код сотрудника вместо его фамилии). Перевод значений предусматривает замену закодированных данных на более понятные описания, такие преобразования производятся на основе нормативно-справочной информации.

Создание полей (field derivation) применяется в том случае, если для конечных пользователей формируется какая-либо новая информация. Например, если в исходной базе данных есть поле цены товара и поле объема продаж, то на их основе можно создать третье поле - выручка от реализации. Современные ETL-системы позволяют программистам использовать для создания новых полей математические операции, статистические функции, возможности работы со строками, арифметические действия и условную логику.

После того как все процедуры преобразования завершены, данные считаются готовыми к размещению в базе данных назначения. Для этого используются процедуры загрузки (loading). Здесь важно определить режим переноса - будет ли он происходить периодически (ежедневно, еженедельно или ежемесячно) или в постоянном (оперативном) режиме. Постоянное тиражирование предъявляет значительно более высокие требования к каналам связи, поэтому решение о постоянном режиме зависит от того, насколько пользователям необходима именно оперативная (а не периодическая) информация. В большинстве современных ETL-систем предусмотрена поддержка и постоянной, и периодической загрузки данных. Некоторые продукты также позволяют переносить не все данные, а только те, которые претерпели изменения.

При загрузке применяются разные схемы: при pull-тиражировании приложение назначения "вытягивает" данные по мере необходимости, а при push-тиражировании система "проталкивает" преобразованные данные в базу данных назначения. Возможен и смешанный подход, когда данные поступают в промежуточную базу, где они преобразовываются, а затем по мере необходимости извлекаются приложением назначения. Впрочем, возникает серьезный вопрос о применимости push-тиражирования на данном этапе развития технологий, поскольку для этого система должна обладать полной информацией о базе данных назначения, а это большая редкость.

Для организации корректного переноса данных из одной системы в другую важно хорошо представлять процессы ETL, а также структуру источника данных и приложения назначения.

Аналитические системы и принятие управленческих решений

Очевидно, что польза от аналитических систем должна выражаться в принятии правильных управленческих решений, положительно влияющих на деятельность компании. Это подразумевает, что аналитические системы должны давать нечто большее, чем простое предоставление информации пользователям. Они должны служить "проводником" в процессе принятия решений. Эффект от использования аналитических систем обусловлен следующими факторами:

сокращение разрыва между аналитиком и лицом, принимающим решения. При традиционном подходе поддержка принятия решений подразумевает процедуру сбора информации (с помощью технических специалистов) и последующей ее передачи руководителю. В этом случае пользователь аналитического программного обеспечения не принимает решения, а только готовит информацию для других. Но тогда невозможно гарантировать, что предоставленная информация будет достаточно адекватной и что на ее основе будет принято обоснованное решение. Поэтому необходимо, чтобы конечным пользователем аналитической системы был именно менеджер, принимающий решение, а не технический специалист;

коллегиальность в принятии решений. Чтобы управленческое решение было обоснованным, субъективной точки зрения одного руководителя часто бывает недостаточно. В аналитической среде принятие решений происходит на основе консолидации мнений, а сами решения представляют собой результат совместной работы нескольких менеджеров;

сопровождение принимаемых решений и оценка их эффективности. Изначально BI-системы не были ориентированы на сопровождение принятия решений, но со временем разработчики стали уделять внимание этому аспекту. В результате аналитические системы стали позволять оценивать преимущества того или иного решения и их эффективность;

использование опыта лидеров. В любой организации есть подразделения и отдельные руководители, которых можно считать примером для подражания. Распространение и использование такого передового опыта обеспечивают управление знаниями и сохранение опыта, накопленного в организации. Возможность поддержки процесса управления знаниями является одной из наиболее важных характеристик аналитического программного обеспечения;

противодействие нерациональным решениям. Для оптимизации процесса принятия управленческих решений также требуется адекватная реакция на нерациональные действия некоторых менеджеров. Это также учитывается разработчиками аналитических систем.

Перечисленные свойства аналитических систем позволяют существенно повысить эффективность управленческой деятельности и обеспечить быструю окупаемость инвестиций в аналитическое программное обеспечение.

Д. Исаев,

Холдинг ЛАНИТ

"Финансовая газета", N 31, 32, август 2005 г.