Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Кибернетика и программирование
Правильная ссылка на статью:

Обоснование инвариантности решений основанных на образовательной квалиметрии и теории нейронных сетей при оценке качества деятельности образовательных организаций

Фатхуллин Роберт Рифович

кандидат технических наук

аспирант, кафедра прикладной математики и информатики, Марийский Государственный Университет

424000, Россия, республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 1

Fatkhullin Robert Rifovich

PhD in Technical Science

graduate student, Department of Applied Mathematics and Informatics, Mari State University

424000, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 1

robertooo1990@gmail.com
Другие публикации этого автора
 

 

DOI:

10.7256/2306-4196.2014.6.13477

Дата направления статьи в редакцию:

02-11-2014


Дата публикации:

16-11-2014


Аннотация: Одной из ведущих тенденций развития образования в мире в настоящее время является создание системы комплексной оценки качества образования. Сегодня активно разрабатываются подходы к определению качества образования, исследуются различные его аспекты, индикаторы и показатели. Комплексная оценка эффективности деятельности образовательных организаций – это многокритериальная задача, для решения которой необходимо установить критерии и процедуру их оценки. В данной статье проводится анализ методов многокритериальной оптимизации, которые могут быть одной из составляющих комплексной оценки качества образовательной деятельности. В исследовании проводится анализ методов многокритериальной оптимизации и теории нейронных сетей. Для комплексной оценки качества деятельности образовательной организации рассмотрены многокритериальные статистические модели. Одна из них основана на образовательной квалиметрии и предусматривает использование методов свертки доминирующих и компенсируемых индикаторов в интегрированный показатель. Другая модель предполагает использование нейронных сетей и базируется на технологии аналитической обработки данных. При реализации рассмотренных моделей могут вырасти такие важные качественные показатели комплексной оценки качества эффективности деятельности образовательных организаций, как объективность оценки, масштабируемость, простота и удобство использования. Полученные результаты могут широко использоваться при комплексной оценке качества деятельности образовательных организаций на различных уровнях образования.


Ключевые слова:

оценка качества образования, многокритериальная оптимизация, свертка критериев, нейронные сети, образовательная квалиметрия, индикаторы качества, matlab, комплексная оценка качества, весовые коэффициенты показателей, качество деятельности

Abstract: One of the leading trends in the development of education in today's world is the creation of a system for comprehensive evaluation of the quality of education. The approaches to defining the quality of education are being actively developed, different aspects, indicators and parameters are being studied. Complex estimation the effectiveness of educational organizations is a multicriteria task that requires establishing the criteria and procedures for their evaluation for solving. The article analyzes the methods of multi-criteria optimization which may become components of a comprehensive assessment of the quality of educational activities. The author analyzes methods of multicriteria optimization and theory of neural networks. The article reviews multicriteria statistical models for a comprehensive evaluation of the quality of educational organizations. One of them is based on the educational qualimetry and involves the use of methods of convolution dominant and compensated indicators into an integrated indicator. Another model involves the use of neural networks and is based on the analytical data processing technology. With the implementation of the models considered such important quality indicators of a comprehensive assessment of the effectiveness of the quality of educational institutions as objectivity of evaluation, scalability, simplicity and ease of use, may increase. The results obtained can be widely used in a comprehensive assessment of the quality of educational institutions at various education levels.


Keywords:

education quality evaluation, multiobjective optimization, convolution of criteria, neural networks, educational qualimetry, quality indicators, matlab, comprehensive assessment of the quality, weighting indices, quality of activities

Введение

При оценке качества образования мы сталкиваемся с огромным количеством различных критериев, каждый из которых может состоять из множества подкритериев. Соответственно задача оценки качества образования в ее математической постановке является многокритериальной. С высокими темпами развития образовательных стандартов, число таких задач постоянно растет.

При решении многокритериальных задач часто используются различные методы свертки критериев в один обобщенный (комплексный) критерий. Поиск решения оптимальной свертки показателей многокритериальной задачи не представляет особых сложностей, если предпочтение по одному критерию влечет за собой такое же предпочтение по другому критерию, т.е. критерии кооперируются. Решение многокритериальной задачи также не представляет особых сложностей, если критерии нейтральны по отношению друг к другу, т.е. поиск решения по одному критерию никаким образом не отражается на поиске решения по другому критерию.

Однако данные случаи относятся к частным. В общем сложность решения многокритериальных задач состоит в том, что критерии конкурируют друг с другом. В большинстве практических задач поиск более предпочтительного решения по одному критерию приводит к тому, что решение становится менее предпочтительнее по другому критерию. Анализ таких ситуаций может осуществляться с помощью определения множества Парето. [1]

.jpg

Рис. 1. Множество Парето в двухмерном пространстве

Часто требуется принять некое решение, выбрав один из возможных вариантов как оптимальный, при этом есть несколько критериев эффективности решения. Простой способ сокращения числа «кандидатов» на статус оптимального решения – выделение так называемого множества Парето. Способ заключается в сопоставлении объектов между собой, и выборе из них наилучшего. Определение множества Парето позволяет исключить заведомо неподходящие объекты. То есть, определение данного множества помогает из всего множества объектов исключить те, которые уступают другим объектам по всем критериям. [1] К сожалению, таким способом не всегда можно устранить все варианты, кроме одного. Этого нельзя сделать, когда некий Парето-оптимальный вариант обыгрывает «соперника» по одним критериям, проигрывая по другим. Несмотря на широкое использование множества Парето, данный способ получения решения задач, связанных с оценкой качества образования, неприемлем. Главным недостатком выделения такого множества является то, что фактически поиск ведется по ограниченному множеству критериев. Значения остальных критериев по существу не влияют на результаты поиска.

В случае, если мы рассматриваем оценку качества образования относящуюся к классу многокритериальных задач, наиболее оптимальным вариантом является использование методов свертки по критериям. [2] Рассмотрим модель комплексной оценки качества деятельности образовательной организации (ОО), основанную на образовательной квалиметрии, с использованием различных сверток.

Модель комплексной оценки качества

В оценке качества деятельности общеобразовательной организации доминирующая роль принадлежит оценке результатов образовательной деятельности, количественная оценка которых основывается, в основном на результатах обучения (ЕГЭ и ГИА). Но при оценке результатов следует учитывать и другие показатели, влияющие на оценку результатов образовательной деятельности.

Оценка качества образования, подразумевает использование множества критериев, которые разделим на три группы: рейтинг учащихся, инфраструктура ОО и качество преподавания. На русинке 2 представлена структура качества деятельности общеобразовательной организации.

.jpg_02

Рис. 2. Структура качества деятельности общеобразовательной организации

Для более точного учета вклада каждого показателя номенклатуры в общей комплексной оценке необходимо исходить из положения, что все показатели не равнозначны между собой. В соответствии с этим, показатель качества объекта характеризуется одним из двух статусов доминирующим или компенсирующим. Показатели одного статуса внутри одной группы отличаются друг от друга по весомости (коэффициента важности). [3]

В качестве методики определения статуса и весовых коэффициентов показателей качества деятельности образовательной организации, предложено [2,3] использовать метод экспертных оценок. Предполагается, что эксперты могут определить статус показателя и весовые коэффициенты – числа, определяющие важность критериев. При этом необходимо предложить методику эксперту, по которой он должен будет назначать баллы. Однако проблема заключается в том, что многие положения, связанные с оценкой качества образования, являются преимущественно качественными, и предлагать измерять их количественно в большинстве случаев неперспективно. Другая проблема заключается в проблеме поиска большой выборки экспертов.

Если применять нечетко выраженные обозначения, например «Равная важность», «Ниже среднего», «Умеренное превосходство», «Существенное или сильное превосходство», «Значительное (большое) превосходство», «Очень большое превосходство» [2], то от эксперта не требуется количественной точности, а требуется как раз субъективная оценка на естественном языке.

При обработке нечетких знаний возникает необходимость иметь количественную оценку для такого рода высказываний. Лингвистическое описание может быть сопоставлено с количественной (например, балльной) шкалой с помощью метода парных сравнений. [4] Результаты применения метода экспертных оценок могут быть использованы для решения сразу нескольких задач: определения статуса показателей качества, определения коэффициентов важности доминирующих и компенсируемых показателей, исключения наименее значимых показателей в группах. Другим способом обработки нечетких знаний является использование байесовской сети. [5]

Раскрытие структурности качества образовательной деятельности, определение номенклатуры взаимосвязанных показателей качества, определение статусов и коэффициентов важностей показателей позволит сформировать основу для разработки математической модели оценки качества деятельности образовательной организации. Расчет комплексного показателя качества деятельности общеобразовательной организации состоит из двух этапов:

  1. Оценка единичных показателей в интервале от 0 до 1 (0 – низшая оценка, означающая полное несоответствие минимальным требованиям, 1 – высшая оценка);
  2. Свертка оценок показателей в единую числовую комплексную оценку по специальным расчетным формулам.

Показано [3], что формула свертки доминирующих показателей:`D=root(n)(d_(1)*d_(2)*...*d_(n))`, где `D` – оценка группового доминирующего показателя, `d_i` – оценка единичного доминирующего показателя. Формула свертки компенсируемых показателей: `K=sum_(i=1)^nomega_(i)*k_(i),`

где `K` – оценка группового компенсируемого показателя, `k_i` – оценка единичного компенсируемого показателя, `omega_i` – коэффициент весомости единичного компенсируемого показателя, причем `sum_(i=1)^nomega_(i)=1`. Логическая формула свертки доминирующего (`D` ) и компенсируемого (K) показателей в комплексную оценку (`O`) по [11] описывается следующей формулой: `O=D & K v D`. Арифметическая формула свертки доминирующего и компенсируемого показателей в комплексную оценку [3]: `O=(sqrt(D*K)+D)/(2).`

Сбор и анализ информации по показателям качества деятельности ОО привели к необходимости разделения показателей по типу на четыре группы [10]:

  • абсолютно измеряемые показатели (абсолютные количественные данные). Например, «Общая площадь всех помещений в расчете на одного обучающегося»;
  • показатели по набору элементов. Например, «Наличие оборудованных постоянно действующих площадок для свободного самовыражения для учащихся начальных классов, обучающихся по ФГОС»;
  • бинарные показатели (да, нет). Например, «Наличие лицензированного медицинского кабинета»;
  • градуированные показатели (качество показателя оценивается по уровню его проявления – градации). Например «Участие в инновационных проектах за отчетный год (федеральных, региональных целевых программах и инновационных площадках)».

Для того чтобы трансформировать полученные результаты из одной числовой системы в другую числовую систему, необходимо произвести шкалирование. Определено [6] 4 уровня шкал измерения, отличающихся по степени, в которой принадлежащие им оценки сохраняют свойства множеств вещественных чисел. Это шкалы: номинальная (или номинативная, шкала наименований), порядковая, интервальная, шкала отношений. Необходимость использования одной шкалы позволяет привести результаты, полученные по различным показателям, к одному удобному для оценки виду.

Кроме того, при схожих единицах измерения, показатели могут иметь различные масштабы. Как количество компьютеров, так и количество обучающихся в ОО являются абсолютно измеряемыми, но только число компьютеров может быть порядка 15 единиц, а число школьников порядка 400-500. Чтобы избежать данных несоответствий, оценки по критериям делают безразмерными, так чтобы они принимали значения от 0 до 1. Один из способов нормирования по эталону:

`C^(')_i(a)=(C_i(a))/(C^*)` , где `C^*` – эталонное значения критерия, `C_i(a)` – значения i-го критерия

Покажем, что показатель требуется не максимизировать, а минимизировать. Например, если показатель «численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов», тогда необходимо взять обратную величину, то есть отношение эталонного значения к измеренному. В случае, когда идеальный вариант по данному показателю определить сложно, рассмотрим несколько вариантов.

Оценка максимального показателя качества составляет `C^max(a)`, минимального - `C^min(a)`.Тогда нормирование для выполняется следующим образом:

`C^'_i(a)=(C_i(a)-C^min_i(a))/(C^max_i(a)-C^min_i(a))` [4], где `C^min_i(a)`, `C^max_i(a)` – минимально и максимально возможные значения `i` -го критерия `C_i(a)` – промежуточное значение.

Если же нам нужна минимизация, то вычисляем нормированные оценки следующим образом:

` C^'_i(a)=(C^max_i(a)-C_i(a))/(C^max_i(a)-C^min_i(a)) ` [4].

Результаты моделирования реализованы в модели комплексной оценке качества деятельности образовательной организации.

Таблица 1. Показатели деятельности общеобразовательной организации

Шифр

Показатель

Нормированная оценка

Вес

Качество основных условий

k1

Численность педагогических работников, имеющих среднее профессиональное образование

0,8786

0,1142

d1

Численность учителей, получивших в установленной форме (по новой форме аттестации) подтверждение соответствия занимаемой должности

0,1312

0,001

k2

Численность обучающихся, получающих услуги дополнительного образования в образовательной организации

0,0702

0,0971

k3

Численность обучающихся, занимающихся в школе полного дня

0,2907

0,0928

Качество реализации образовательного процесса

d1

Количество кабинетов для учащихся начальных классов, обучающихся по ФГОС

0,1008

0,0714

k1

Численность педагогических работников - участников конференций, семинаров, образовательных форумов, круглых столов, марафонов, соревнований (региональный, федеральный и международный уровни) за истекший учебный год

0,6558

0,1085

k3

Численность обучающихся, ставших призёрами и победителями научных и научно-практических конференций

0,2951

0,0357

Качество результатов

k1

Численность обучающихся, успевающих на «4» и «5» по результатам промежуточной аттестации

0,151

0,0133

k2

Численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов ЕГЭ по русскому языку

0,3772

0,1066

k3

Численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов ЕГЭ по математике

0,1576

0,1343

k4

Средний балл по результатам ЕГЭ 11 класс по русскому языку

0,6008

0,0934

d1

Средний балл по результатам ЕГЭ 11 класс по математике

0,9981

0,0166

k5

Средний балл государственной итоговой аттестации выпускников 9 класса по русскому языку

0,3963

0,0555

k6

Средний балл государственной итоговой аттестации выпускников 9 класса по математике

0,6960

0,0472

k7

Численность/доля обучающихся, продолживших обучение после 11 класса в образовательных организациях профессионального образования (ВПО, НПО, СПО) от общего числа выпускников

0,5789

0,0124

Расчетный пример

Метод расчета комплексного показателя качества образовательной организации основанный на образовательной квалиметрии и методе экспертных оценок, предполагает использование одного доминирующего показателя в каждой группе, остальные показатели являются компенсируемыми.

По формуле свернем групповые доминирующие показатели: `D=0,2364`.

По формуле свернем групповые компенсируемые показатели: `K=0,3973`.

Свернем оценки по доминирующим и компенсируемым оценкам в единый комплексный показатель качества:

`O=(sqrt(0,2364+0,3973)+0,2364)/2=0,2715`

Расчет и сравнение данного показателя по отдельным ОО позволяет определить организацию с высоким и низким уровнем качества образовательной деятельности.

` `

` `

` `

Подход к разработке модели комплексной оценки качества деятельности ОО при помощи нейронных сетей

При аналитической обработке данных, следует отметить, что часто используемые классические методики оказываются малоэффективными и не дающими результата. Это связано с тем, что невозможно достаточно полно описать систему образования с помощью небольшого числа критериев. В большинстве случаев в качестве математической модели для оценивания качества образования используют линейные модели. Но зависимости, встречающиеся в системе образования, часто нелинейны. [7] Более того, статистические методы хорошо развиты только для одномерных случайных величин. Если же необходимо учитывать для оценки качества образования несколько взаимосвязанных факторов, то приходится обращаться к построению многомерной статистической модели. Однако такие модели, как правило, не обоснованы теоретически и прибегают к эвристическим методам. Эвристические методы анализа, описанные выше, представляют собой особую группу приемов сбора и обработки информации, опирающуюся на профессиональное суждение группы экспертов. [8]

Сегодня уже недостаточно просто создания информационных подсистем по сбору информации, связанной с деятельностью образовательных организаций. Появляется необходимость в создании эффективных средств анализа полученной информации для оценки качества образования. Только в этом случае информационная система для оценки качества образования преобразуется в информационно-аналитическую систему. При построении таких систем с точки зрения проблемы качества образования получает возможность оценивать: рейтинг учащихся по дисциплинам, инфраструктуру, качество преподавания. Это в свою очередь позволяет сократить время при принятии решений и эффективно управлять образованием.

Одной из технологий аналитической обработки данных тест FASMI. FASMI – быстрый способ анализа доступной многомерной информации. С точки зрения пользователя, системы использующие данную технологию представляют средства гибкого просмотра информации в различных срезах, автоматического получения агрегированных данных, выполнения аналитических операций свертки, детализации, сравнения во времени. Все это делает системы решением с очевидными преимуществами в области подготовки данных для всех видов отчетности, предполагающих представление данных в различных разрезах и разных уровнях иерархии.

Из-за описанных выше недостатков традиционных способов последние годы идет активное развитие аналитических систем нового типа. В их основе – технологии искусственного интеллекта, имитирующие природные процессы, такие как деятельность нейронов головного мозга. Отмечено [9], что наиболее популярными и проверенными из этих технологий являются нейронные сети. Поэтому с их помощью успешно решаются разнообразные «нечеткие» задачи – распознавание образов, речи, рукописного текста, выявление закономерностей, классификация, прогнозирование. В таких задачах, где традиционные технологии бессильны, нейронные сети часто выступают как единственная эффективная методика решения.

Расчетный пример

Имеются показатели деятельности общеобразовательной организации, подлежащей самообследованию. [10] Пронормировав данные показатели, необходимо сформировать комплексную оценку ОО. Таким образом, необходимо спроектировать нейронную сеть, способную анализировать показатели ОО и правильно получать комплексную оценку.

Используем пакет прикладных программ Neural Network Toolbox (Нейронные сети) среды математического моделирования MATLAB.

Следует обратить внимание на структуру сети, проектирование которой будет проводиться. Очевидно, для формирования нейронной сети необходимо определить ее топологию, механизм обучения и процедуру тестирования. Кроме того, для ее обучения нужны входные данные – выборка ОО с достоверными комплексными показателями качества.

Начальная конфигурация нейронной сети прямого распространения выбрана на основе следующего эвристического правила: количество нейронов скрытого слоя равно половине суммарного количества входных и выходных нейронов. [12] Тогда, если входных нейронов 15 (число показателей), выходных нейронов 1 (комплексный показатель качества), то скрытых нейронов 8. Для решения задачи формирования комплексной оценки качества ОО может быть использована сеть прямого распространения информации – многослойный персептрон (MLP). Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Многослойный персептрон непосредственно подходит для решаемой задачи, так как имеет достаточно гибкую структуру и для его обучения имеется широкий диапазон алгоритмов.

Архитектура многослойного персептрона, которую необходимо построить, представлена на рис. 3.

.jpg_03

Рис. 3. Структура нейронной сети

Параметры нейронной сети:

  • первый слой – 15 входных нейронов, соответствует числу входных данных – единичных показателей качества;
  • второй слой (скрытый) – 8 нейронов;
  • третий слой – 1 выходной нейрон, так как требуется один выходной параметр – показатель уровня качества `K` ;
  • алгоритм обучения: обратное распространение;
  • нелинейная функция активации – сигмоидальная функция `f=1/(1+e^(-alphax)),`

с параметром `alpha=1.`

Сформируем обучающий набор индикаторов качества. Всего векторов 154, соответствует числу ОО. Обучающая последовательность представлена 100 входными образами (соответствует 100 ОО) и таким же числом ожидаемых показателей качества {P; T}, где P – векторы входов, T – вектор целей. Оставшиеся 54 вектора будут использованы для тестирования нейросети.

Для нейронов скрытого и выходного слоев выберем логарифмические сигмоидальные функции активации, потому что диапазон выходных сигналов для этой функции определен от 0 до 1.

Создадим трехслойную нейронную с параметрами описанными выше:

net=newff(minmax(P),[8 1],{'logsig','logsig'},'trainbfg');

Нейронная сеть использует один вектор входа с 15 элементами, имеющими одинаковые допустимые границы значений [0 1]; использует 2 слоя с 8 нейронами в первом (скрытом) слое и 1 нейроном во втором (выходном) слое; используемые функции активации: logsig – в первом слое, logsig – во втором слое; используемая функция обучения – trainbfg (функция тренировки сети, использующая BFGS квази-Ньютононовский метод [13]). Теперь следует настроить некоторые параметры алгоритма обучения:

net.trainParam.epochs=50000;

net.trainParam.show=2000;

net.trainParam.lr=0.15;

net.trainParam.mc=0.7;

net.trainParam.goal=0.0000001;

Здесь epochs – максимальное количество итераций обучения, show – интервал вывода информации, lr – скорость обучения, mcпостоянная момента, goal – предельное значение критерия обучения (ошибка сети).

Обучающая последовательность представляет собой 100 векторов входа из 15 элементов каждый и один выходной вектор состоящий из 100 элементов.

P=

0,1663

0,4962

0,6226

0,9559

0,3334

0,2113

0,4417

0,2443

0,4074

0,4383

0,4741

0,0000

0,5045

0,7522

0,3339

0,3206

0,0000

0,8758

0,5177

0,4626

0,3660

0,1542

0,1113

0,0605

0,8845

0,0722

0,9618

0,3217

0,5970

0,3916

0,5611

0,8216

0,4828

0,2106

0,7726

0,6988

1,0000

0,1469

0,0770

0,5914

0,6143

0,6661

0,0568

0,1860

0,6973

0,6951

0,6214

0,3196

0,9148

0,6077

0,9943

0,4352

0,8728

0,3038

0,6008

0,9845

0,5347

0,6085

0,2092

0,6123

0,2470

0,8857

0,6751

0,5209

0,0000

0,6927

0,8894

0,9078

0,4426

0,6811

0,1076

0,0978

0,5985

0,1937

0,2800

0,9758

0,6086

0,1084

0,0914

0,4267

0,4436

0,7456

0,6074

0,6651

0,3990

0,1957

0,0755

0,5918

0,0000

0,6091

0,9831

0,9551

0,5346

0,9937

0,4382

0,3816

0,7699

0,1847

0,8751

0,5758

0,6353

0,3649

0,8290

0,5646

0,5441

0,8793

1,0000

0,0167

0,1437

0,7346

0,7867

0,8897

0,4767

0,2138

0,0602

0,6756

0,4826

0,1003

0,0610

0,3545

T=

0,4385

0,4999

0,6127

0,6246

0,5341

0,3628

0,3390

0,4364

Итак, сеть построена, сформирована обучающая последовательность, выбран алгоритм обучения и настроены его параметры. Приступим к процессу обучения:

net=train(net,P,T);

После ввода данного выражения в командную строку системы MATLAB, открылось окно процесса обучения, показанное на рисунке 4. В данном окне показано, что процесс обучения завершился по достижении заданной точности за 799 итераций, время затраченное на обучение сети – 11 секунд. График зависимости ошибки сети от числа циклов представлен на рисунке 5.

2222

Рис. 4. Окно процесса обучения

3333

Рис. 5. График ошибки обучения

После обучения нейросети перейдем к этапу тестирования сети. Из имеющихся 154 вариантов векторов входа в процессе обучения не использовались 54.

Тестовая выборка TEST=

0,8787

0,3510

0,2856

0,6520

0,5661

0,2723

0,9728

0,4080

0,6316

0,1313

0,0290

0,9445

0,4665

0,9117

0,8907

0,9869

0,6609

0,458

0,0703

0,9174

0,2279

0,7743

0,6017

0,6838

0,8479

0,7795

0,5517

0,2908

0,9576

0,5993

0,7142

0,1125

0,4988

0,2339

0,1148

0,1277

0,1009

0,7793

0,2150

0,5098

0,8536

0,3270

0,5586

0,2631

0,1555

0,6558

0,0727

0,2388

0,8061

0,6383

0,2498

0,0207

0,5552

0,0464

0,2951

0,0858

0,6956

0,9422

0,5082

0,3141

0,0058

0,2260

0,791

0,1511

0,5253

0,2338

0,6593

0,0802

0,1665

0,1490

0,9388

0,7282

0,3772

0,1274

0,8745

0,7717

0,6054

0,0105

0,3646

0,5111

0,3322

0,1577

0,7288

0,0106

0,9544

0,6550

0,9698

0,5142

0,5072

0,6714

0,6008

0,2659

0,0029

0,8414

0,8448

0,7742

0,9918

0,4946

0,9501

0,9982

0,8313

0,1942

0,9194

0,4681

0,7742

0,4110

0,8992

0,9783

0,3964

0,0968

0,7689

0,0064

0,1842

0,9573

0,8262

0,3318

0,9103

0,6961

0,3996

0,4126

0,3343

0,9152

0,0652

0,4777

0,3274

0,262

0,5789

0,6226

0,8358

0,9932

0,9993

0,7809

0,3168

0,3552

0,4512

Ожидаемая оценка ANS=

0,4213

0,4737

0,3511

0,7154

0,5888

0,4909

0,5401

0,4552

0,4912

Выход сети ANS=sim(net,TEST)

ANS =

Columns 1 through 16

0.4166 0.4877 0.3453 0.7052 0.5838 0.4994 0.5363 0.4579 0.4597 0.4686 0.5366 0.5258 0.3190 0.5245 0.3880 0.4801

Columns 17 through 32

0.6338 0.4983 0.5171 0.3550 0.4319 0.3732 0.5402 0.5130 0.4383 0.5186 0.4515 0.4549 0.4852 0.3879 0.5262 0.4897

Columns 33 through 48

0.5224 0.5452 0.3977 0.4592 0.6386 0.5144 0.4136 0.6421 0.4224 0.4512 0.4167 0.5266 0.4772 0.5252 0.5445 0.5546

Columns 49 through 54

0.6347 0.5778 0.4533 0.3924 0.3944 0.5058

В результате тестирования нейронной сети, выходные значения оказались близки к значениям тестовой выборки. Погрешность вычисления составила не более 0,01. Представленный анализ показал, что задача комплексной оценки качества образования по большому множеству показателей может быть адекватно решена с помощью нейронной сети (многослойный персептрон прямого распространения). Однако сложность данного метода может быть в выборе архитектуры нейронной сети и подготовке обучающей выборки для настройки нейронной сети.

Заключение

Таким образом, в работе исследованы многокритериальные статистические модели для оценки качества деятельности образовательных организаций. Одна из них основана на образовательной квалиметрии и предусматривает использование методов свертки доминирующих и компенсируемых индикаторов в интегрированный показатель. Другая модель предполагает использование нейронных сетей и базируется на технологии аналитической обработки данных.

Доказана инвариантность полученных решений, основанных на образовательной квалиметрии и теории нейронных сетей при оценке качества деятельности образовательных организаций. Показаны результаты и точность расчета данных моделей.

Библиография
1. Гудков П.А. Методы сравнительного анализа: Учебное пособие.-Пенза: Изд-во Пенз. гос. ун-та, 2008.
2. Ажмухамедов И.М., Ажмухамедов А.А. Формирование рейтинговой оценки качества образования на основе нечеткой графовой модели // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. – 2012. – №1. – С. 150–157.
3. Корнещук Н.Г. Теоретико-методологиеские основы комплексной оценки качества деятельности образовательной системы [Текст]: автореф. дис. На соиск. учен. степ. док. пед. наук (13.00.01) / Корнещук Нина Геннадьевна; Магнитогорский гос. унив. – Магнитогорск, 2007. – 49.
4. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах: Учебник. – М.: Логос, 2000. – 296 с: ил.
5. Частиков А.П., Леднева И. Ю. Использование байесовской сети при разработке экспертных систем с нечеткими знаниями: Материалы конференции ИТО-2000 г. Краснодар. URL: http://ito.edu.ru/2000/II/5/5152.html (14.08.2014).
6. Stevens S.S. On the theory of scales of measurement // Science. 1946. V. 103. P. 677 — 680.
7. Кабальное Ю.С., Дюльдина Э.В., Исмагилова Э.М. Нейросетевая модель прогнозирования выполнения стратегии качества обучения. // Известия Челябинского научного центра, вып. 1 (22), 2004.-С. 31-36.
8. Палюх Б.В., Большаков С.В. Применение искусственных нейронных сетей при разработке информационно-аналитической системы по оценке качества образования в ВУЗе: XIV всероссийская научно-методическая конференция "телематика'2007".
9. Компания НейроПроект, программные продукты и алгоритмы искусственного интеллекта. URL: http://www.neuroproject.ru/oglavl.htm (01.09.2014).
10. Приказ Министерства образования и науки РФ от 28 января 2014 г. N 1324 «Об утверждении показателей деятельности образовательной организации, подлежащей самообследованию».
11. Рубин Г.Ш. Развитие квалиметрии метизного производства на основе методологии функционально-целевого анализа [Текст]: автореф. дис. На соиск. учен. степ. док. тех. наук (05.02.23) / Рубин Геннадий Шмульевич; Магнитогорский гос. унив. – Магнитогорск, 2011. – 31.
12. Медведев В. С., Потемкин В. Г. Нейронные сети. MATLAB 6. / Под общ. ред. В. Г. Потемкина. – М.: ДИАЛОГ-МИФИ, 2001. – 630 с. – (Пакеты прикладных программ; Кн. 4).
13. Квазиньютоновские методы минимизации, основанные на принципах обучения. URL: http://www.math.kemsu.ru/kmk/subsites/Krutikov_RelaxMeth/pages/2_1glava.htm#2_4 (15.10.2014).
References
1. Gudkov P.A. Metody sravnitel'nogo analiza: Uchebnoe posobie.-Penza: Izd-vo Penz. gos. un-ta, 2008.
2. Azhmukhamedov I.M., Azhmukhamedov A.A. Formirovanie reitingovoi otsenki kachestva obrazovaniya na osnove nechetkoi grafovoi modeli // Vestnik AGTU. Seriya: Upravlenie, vychislitel'naya tekhnika i informatika. – 2012. – №1. – S. 150–157.
3. Korneshchuk N.G. Teoretiko-metodologieskie osnovy kompleksnoi otsenki kachestva deyatel'nosti obrazovatel'noi sistemy [Tekst]: avtoref. dis. Na soisk. uchen. step. dok. ped. nauk (13.00.01) / Korneshchuk Nina Gennad'evna; Magnitogorskii gos. univ. – Magnitogorsk, 2007. – 49.
4. Larichev O.I. Teoriya i metody prinyatiya reshenii, a takzhe Khronika sobytii v Volshebnykh Stranakh: Uchebnik. – M.: Logos, 2000. – 296 s: il.
5. Chastikov A.P., Ledneva I. Yu. Ispol'zovanie baiesovskoi seti pri razrabotke ekspertnykh sistem s nechetkimi znaniyami: Materialy konferentsii ITO-2000 g. Krasnodar. URL: http://ito.edu.ru/2000/II/5/5152.html (14.08.2014).
6. Stevens S.S. On the theory of scales of measurement // Science. 1946. V. 103. P. 677 — 680.
7. Kabal'noe Yu.S., Dyul'dina E.V., Ismagilova E.M. Neirosetevaya model' prognozirovaniya vypolneniya strategii kachestva obucheniya. // Izvestiya Chelyabinskogo nauchnogo tsentra, vyp. 1 (22), 2004.-S. 31-36.
8. Palyukh B.V., Bol'shakov S.V. Primenenie iskusstvennykh neironnykh setei pri razrabotke informatsionno-analiticheskoi sistemy po otsenke kachestva obrazovaniya v VUZe: XIV vserossiiskaya nauchno-metodicheskaya konferentsiya "telematika'2007".
9. Kompaniya NeiroProekt, programmnye produkty i algoritmy iskusstvennogo intellekta. URL: http://www.neuroproject.ru/oglavl.htm (01.09.2014).
10. Prikaz Ministerstva obrazovaniya i nauki RF ot 28 yanvarya 2014 g. N 1324 «Ob utverzhdenii pokazatelei deyatel'nosti obrazovatel'noi organizatsii, podlezhashchei samoobsledovaniyu».
11. Rubin G.Sh. Razvitie kvalimetrii metiznogo proizvodstva na osnove metodologii funktsional'no-tselevogo analiza [Tekst]: avtoref. dis. Na soisk. uchen. step. dok. tekh. nauk (05.02.23) / Rubin Gennadii Shmul'evich; Magnitogorskii gos. univ. – Magnitogorsk, 2011. – 31.
12. Medvedev V. S., Potemkin V. G. Neironnye seti. MATLAB 6. / Pod obshch. red. V. G. Potemkina. – M.: DIALOG-MIFI, 2001. – 630 s. – (Pakety prikladnykh programm; Kn. 4).
13. Kvazin'yutonovskie metody minimizatsii, osnovannye na printsipakh obucheniya. URL: http://www.math.kemsu.ru/kmk/subsites/Krutikov_RelaxMeth/pages/2_1glava.htm#2_4 (15.10.2014).