Многомерная организация данных в информационных системах анкетирования

Меликов Алексей Владимирович аспирант Пензенского государственного университета 108811, Россия, Московская область, г. Москва, ул. Саларьевская, 14к3, кв. 908 Melikov Aleksej Vladimirovich Postgraduate student, Penza State University 108811, Russia, Moskovskaya oblast', g. Moscow, ul. Salar'evskaya, 14k3, kv. 908 AleksejV.Melikov@gmail.com Другие публикации этого автора

В настоящее время при управлении социально-экономическими системами (СЭС) широко используются информационные системы анкетирования (ИСА) для получения прогнозной оценки реакций системы на возможные управляющие воздействия с использованием Web-технологий в режиме удалённого доступа. Сложность управления СЭС обусловлена:

- сильным влиянием случайных факторов на объект управления (ОУ);

- малой изученностью реакций ОУ на конкретные управляющие воздействия;

- наличием значительного синергетического эффекта;

- трудностями организации мониторинга поведения таких систем;

- присутствием антропогенного фактора, носящего по своей природе нестатистический характер.

Всё это не позволяет в должной мере изучать процессы, происходящие в СЭС, методами математической статистики, затрудняет оценку репрезентативности выборки и исследование поведения системы при изменении параметров прогнозируемого объекта, что в совокупности приводит к значительным погрешностям получаемых прогнозных оценок в задачах управления СЭС. Поэтому при управлении СЭС используют методы экспертного оценивания (ЭО), следовательно, от того какими способами были проведены сбор и обработка экспертной информации (ЭИ), будет зависеть достоверность полученной прогнозной оценки реакций СЭС на возможное управляющее воздействие.

На основании проведённого анализа существующих программных продуктов сбора и обработки данных («Analysis Services» и «Excel» компании Microsoft, «Data Mining» компании Oracle, «Deductor» компании BaseGroup и web-сервисов, таких как «ProstOpros» и «WebAnketa») были выявлены недостатки в обработке и анализе ЭИ, следствием которых является низкая информативность данных, так как:

- зачастую обрабатывается семантически эквивалентная информация;

- присутствует большое количество пустых значений показателей в таблицах гиперкубов;

- отсутствует возможность проведения анализа данных, не предусмотренного планом анкетирования;

- не учитывается степень уверенности эксперта в каждом из вариантов ответа;

- недостаточно полно и точно взвешиваются мнения экспертов, имеющие несколько различающихся по степени уверенности прогнозных оценок реакции СЭС на возможные управляющие воздействия ^{[1, с. 21]}.

Общепринятый процессный подход к процедуре анкетирования, используемый во многих информационных системах (ИС), обнаруживает свои недостатки, проявляемые, с одной стороны, в виде ограниченности методов анализа данных, а с другой – отсутствии прогнозной оценки в задаче управления. Это можно объяснить следующими причинами:

- во-первых, одни проекты составляются только для проведения опроса и вывода статистики, что является неприемлемым для решения ёмких задач управления;

- во-вторых, другие – исключительно для работы в конкретной предметной области (включая базы данных (БД)), что позволяет проводить более углубленный анализ данных, не допуская дальнейшего использования подобных ИСА в широком спектре деловых услуг ^[2].

По этим причинам был разработан процессный подход к процедуре анкетирования (рисунок 1), отличающийся от существующих наличием процессов дополнительной обработки результатов ЭО при проведении их многомерного анализа с целью принятия управленческих решений. ЭИ, собранная системой анкетирования, преобразуется в агрегированные данные многомерного хранилища, при анализе которых проверяется уровень значимости атрибутов экспертов, влияющих на компетентность в предметной области, и учитывается степень уверенности эксперта в каждом из вариантов ответа, что позволяет повысить информативность выводов, получаемых в результате обработки данных экспертных опросов.

Рисунок 1 – Процесс анкетирования (расширенный) в стандарте IDEF

Администратор БД посредством системы анализа данных импортирует информацию, собранную ИСА, преобразуя её в агрегированные данные, которые загружаются в хранилище данных (ХД). Преимуществом процесса 5 является автоматизированный способ определение и построение иерархий с использованием зависимости оперативной БД как исходной с иерархиями атрибутов в измерениях гиперкуба, что приводит к сокращению времени, необходимого для формирования схемы многомерной модели данных (ММД) ^[3].

В соответствии с предложенным процессным подходом к процедуре анкетирования появилась необходимость в разработке математической модели преобразования данных экспертных опросов из исходной БД в агрегированные данные хранилища, позволяющей обработать данные в иерархиях, изначально не предусмотренных при сборе ЭИ ^[4]; что, в свою очередь, повысит достоверность прогнозной оценки реакций системы и, как следствие, улучшит управление СЭС в целом.

`[[a,b],[c,d]]` В работе для реляционных БД, которые используются как исходные данные для гиперкубов, определены функциональные и многозначные зависимости. Данные зависимости используются при создании иерархий многомерной модели (ММ). Поскольку «схема иерархий» – это ориентированный ациклический и слабо связанный граф

H = (A, E) , где

A – множество атрибутов, состоящее из подмножеств C,D ; E – множество дуг,

- то для функциональной зависимости C⟶D – где атрибуты из множества D располагаются в иерархии выше, чем атрибуты из множества C ,

так как различные значения C определяют одинаковое значение D , и для атрибутов справедливо: C_k ∈ C, D_l ∈ D ∀k, l C_k ≺ Dl – добавляется дуга C_k'D_l' ;

- а для многозначной зависимости C ⟶- D(E) – где атрибуты из C располагаются в иерархии выше, чем атрибуты из D ∪ E , так как при существовании двух кортежей, совпадающих по C , существует ещё два кортежа с тем же значением C , и для атрибутов справедливо C_k ∈ C,I_l ∈ D ∪ E ∀k, l I_l ≺ C_k , где I подобно C – добавляется дуга D_l'C_k' .

Таким образом, в граф H добавляются вершины для атрибутов из множества L , отсутствующих в схеме иерархий в качестве вершин (рисунок 2) ^[5].

Рисунок 2 – Алгоритм построения H

Однако существуют некоторые последовательности уровней, которые могут многократно использоваться в иерархиях измерений гиперкубов. Связь между такими атрибутами установить не всегда получается посредством зависимостей, которые задаются для исходной БД ^{[6, с. 219]}. Отсюда следует, что для этих атрибутов задание отношения ≺ на множестве атрибутов предоставляется пользователю. Иерархии, которые были заданы пользователем, будут использоваться при формировании схемы иерархии. Кроме того, иерархии в измерениях необходимы как для реализации операций анализа данных, так и для структурирования заголовков пользовательского представления.

Преобразование информации, собранной ИСА, в данные для их дальнейшего многомерного анализа осуществляется в 2 этапа. На 1 этапе происходит сбор информации в БД системы анкетирования и её первичное преобразование. На 2 этапе уже помещённая в ХД информация агрегируется и преобразуется в конечную структуру, позволяющую осуществить многомерный анализ этих данных. Например, информацию о группах в исходной БД представляется в виде множества: R₁={a₁,a₂,a₃,a₄,a₅,…,a_m} , где a₁ – название, a₂ – идентификационный номер, a₃ – пароль, a₄ – разрешения, a₅ – описание и т.д. В свою очередь название группы записывается в виде подмножества a₁={k₁,k₂,k₃,k₄,…,k_q} , в котором после разложения составного названия на простые смысловые части выбирается k₁ – идентификатор даты, k₂ – идентификатор группы и т.д. При k₃ ∩ K=k* , где K – множество всех идентификаторов соответствующего измерения, получается искомое множество k*{k₁*,k₂*, …,k_l*} для многомерного ХД, в котором k₁* – идентификационный номер измерения низшего уровня, k₂* – его описание и т.д. Таким образом, исходный атрибут из R₁ обрабатывается как подмножество, в котором каждый атрибут (k₁ ) пересекается с множеством всех однотипных атрибутов (S). В результате получается искомое множество s*{s₁*,…,s_o*} для многомерного ХД из Y_i (i=1,2,…,n) – множество атрибутов из исходного реляционного отношения R (рисунок 3) ^[7].

Рисунок 3 – Пример получения s*

Из данных результатов анкетирования, списка тестов, вопросов и ответов формируется массив, в котором каждая строка является одним фактом, т.е. одним ответом на один вопрос. Сформировав конечный массив данных фактов, производится их циклическая построчная запись в ХД, в таблицу фактов. После этого начинается 2 этап преобразования – агрегирование данных, которое осуществляется следующим образом: сначала происходит обработка данных и получение общей статистики результатов анкетирования, затем – детальная статистика, в том числе и по вопросам, подразумевающим ручной ввод ответов ^{[8, с. 112]}. Импортирование осуществляется выполнением скриптов, написанных на языке php, на сервере, где размещаются БД систем. Для функционирования скриптов необходимо наличие Web-сервера Apache с установленным дополнением, позволяющим обрабатывать php файлы.

Одним из условий эффективной организации данных является снижение занимаемого объёма памяти на дисковом пространстве ЭВМ. Сначала следует скорректировать некоторые известные понятия применительно к данной области исследования. Гиперкуб является набором связанных реляционных таблиц, есть самостоятельный объект. Срез гиперкуба G называется вырожденным по показателю, если значение этого показателя во всех элементарных ячейках среза равно 0 . Вес гиперкуба – его размерность, помноженная на количество конкретных для него показателей:

V_G=k₁×k₂×…×k_n×m , где

m – количество определённых для гиперкуба показателей g , k_i – количество значений по измерению f_i (i = 1,2,…,n). При снижении количества пустых (нулевых) значений показателей, т.е. при увеличении плотности гиперкуба, модель организации данных становится улучшенной. Пусть один из показателей в срезе гиперкуба равен 0 . Тогда имеет место следующее разложение исходного гиперкуба, которое записывается в виде суммы нескольких гиперкубов меньших размерностей:

В результате получается, что суммарный вес разложения меньше веса исходного гиперкуба. Для достижения максимального улучшения модели данная процедура проводится итерационно по другим измерениям гиперкубов до исчезновения срезов, вырожденных по показателю ^[9].

Таким образом адаптируется процедура описания структуры информации для хранилищ и других БД, которые основаны на методе многомерного хранения, а представленная процедура оптимизации допускает экономию дискового пространства. Однако процесс разбиения одного из гиперкубов на множество меньших может усложнить алгоритмы доступа к данным и, что разумеется, увеличить время впуска к ним. Вследствие чего, необходимо проводить дополнительные исследования для поиска критерия эффективности процесса оптимизации данных.

В соответствии с требованиями ММ описания аналитического пространства в терминах «мера» и «измерение» были выделены следующие группы измерений:

- структура трёхуровневого измерения представляется как r(R)={<x,y,z>|P(x,y,z)} , где r – отношение со схемой R ; <x,y,z> – упорядоченная последовательность кортежей; P(x,y,z) – тернарный предикат первого порядка, который определяется на примере высказываний относительно данного измерения x=x₁,x₂,…,x_m ; y=y₁,y₂,…,y_n ; z=z₁,z₂,…,z_q – кортежи переменных, которые показывают имена атрибутов уровней этого измерения;

- отношение на множестве атрибутов двухуровневого измерения описывается как r(R₄)={<b,c>|P₄(b,c)} , где b – кортеж атрибутов одного уровня измерения; c – кортеж атрибутов другого уровня измерения; P₄(b,c) – бинарный предикат, который определяется на примере высказываний относительно имён атрибутов данного измерения;

- отношение для одноуровневого измерения задаётся посредством предиката P₇(h) , который определяется как r(R₇)={h|P₇(h)} , где h – кортеж атрибутов рассматриваемого измерения.

Формализованное описание структур данных сводится к ансамблям системных графов или к формальным структурам специального вида. Вместе с этим построение ММД позволит выявить логику образования таких структур из независимо формализованных компонентов. Многомерное представление данных осуществляется на основе прямой композиции частей структуры данных и допускает выполнение операций детализации, проекции, среза и консолидации при обработке данных.

При построении моделей запросов формируются схемы отношений, описывающие одну таблицу ХД. Посредством объединения атрибутов однотипных схем отношений, задаётся произвольная совокупность многоместных отношений, выраженных в специфической структуре, называемой C-системой (S[XYZ] ), которая описывает структуру ХД. Например, S[FKPRT]=`[[{R},{PT}],[{P},{K}],[{K},{F}]]`, где F,K,P,R,T – измерения. В результате транзитивного замыкания получается: S'[FKPRT]=`[[{R},{PKFT}],[{P},{KF}],[{K},{F}]]`` ` (рисунок 4).

Рисунок 4 – Пример построения транзитивного замыкания для графа

Для формируемых C-систем выполняются аксиомы матроидов, что позволяет представить схему ХД в виде классификации подмножеств исходного множества, представляющей собой обобщение идеи независимости элементов. Такое представление структуры ХД позволяет решить задачу уменьшения диаметра графа с использованием «жадного» алгоритма. Максимальная длина дуги графа – вычисленная из выражения r(v_i)=max_jd(v_i,v_j) , где d – элементы графа D(G) с расстояниями v_i,v_j (i,j=1,2,…,n , где n – количество вершин графа) – не превышает его диаметра (рисунок 5) ^{[10, с. 66, 11]}.

Рисунок 5 – Матрица расстояний между вершинами системного графа БД

Такое представление многомерной модели данных, во-первых, обеспечивает надёжное и компактное их хранение в сложных информационных структурах и возможность выделения значимой информации в процессе обработки данных, что в совокупности повышает эффективность обработки ЭИ и, как результат, достоверность прогнозной оценки реакций СЭС, во-вторых, способствует проектированию на её основе адаптивной, интегрируемой и динамичной ИСА ^[12].

Во-первых, разработана новая структура ХД, основанная на алгебре кортежей, повышающая надёжность и информативность выводов, получаемых в результате обработки данных экспертных опросов, исключая обработку семантически эквивалентной информации и снижая количество пустых значений показателей в таблицах гиперкубов, что в совокупности позволяет сэкономить занимаемый объём дискового пространства ЭВМ, в среднем, на 30 % .

Во-вторых, разработанная структура ХД даёт возможность осуществить анализ данных, не предусмотренный планом анкетирования, что способствует повышению насыщенности полученных в результате обработки ЭИ выводов.

В-третьих, предложенная многомерная логическая схема данных реализована в программном обеспечении в виде ИСА «Апофаси», которое успешно внедрено:

- в ФГБОУ ВПО «Пензенский государственный университет» в управлении системой менеджмента качества;

- в администрации Железнодорожного района г. Пензы при управлении деятельностью органов местного самоуправления;

- в ЗАО ПФК «Аттика» (г. Волгоград) при получении прогнозных оценок мнений группы экспертов о развитии параметров, характеризующих остаточный ресурс оборудования.

На систему было получено свидетельство о регистрации электронного ресурса № 17686 от 14.12.2011 г.