Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Финансовое право и управление
Правильная ссылка на статью:

О методике оценки сравнительной эффективности исполнения консолидированного бюджета субъектами РФ в сфере дошкольного образования

Порунов Аркадий Николаевич

кандидат экономических наук

научный сотрудник лаборатории стратегических исследований, Самарский государственный технический университет

446073, Россия, Самарская область, г. Самара, ул. Молодогвардейская, 224

Porunov Arkadii Nikolaevich

PhD in Economics

Researcher at Laboratory for Strategic Research at Samara State Technical University

446073, Russia, Samarskaya oblast', g. Samara, ul. Molodogvardeiskaya, 224

rameno@rambler.ru

DOI:

10.7256/2454-0765.2018.1.22393

Дата направления статьи в редакцию:

23-03-2017


Дата публикации:

17-10-2018


Аннотация: Несмотря на ощутимый прогресс в становлении федеральной системы оценки качества дошкольного образования, ключевой проблемой на современном этапе ее развития является проблема несбалансированности оценки сравнительной эффективности финансовых ресурсов, направляемых в регионы на развитие дошкольного образования. Это, в значительной степени, затрудняет принятие достаточно эффективных управленческих решений. В то же время в мировой практике накоплен немалый опыт в применении инструментов DEA-анализа для решения подобных задач. В статье рассматриваются ключевые моменты методики оценки сравнительной эффективности финансового менеджмента на основе Data Envelopment Analysis (DEA) или DEA-анализа. DEA-анализа был применен автором для комплексной оценки сравнительной эффективности исполнения консолидированного бюджета субъектами Федерации и территориальных государственных внебюджетных фондов в сфере дошкольного образования по итогам 2015 г. Методологический инструментарий исследования базируется на методах системного анализа, математического, экономического, статистического анализа, декомпозиции и агрегирования. Проведенный DEA-анализ результатов исполнения консолидированного бюджета субъектами Федерации и территориальных государственных внебюджетных фондов в сфере дошкольного образования по итогам 2015 г. показал, что абсолютное большинство регионов (94%) характеризуются крайне низкой сравнительной эффективностью исполнения консолидированного бюджета относительно лучшей практики. Лучшая практика (абсолютно эффективное) исполнения бюджета на момент проведения исследования наблюдалась в Чукотском автономном округе.


Ключевые слова:

консолидированный бюджет, дошкольное образование, сравнительная экономическая эффективность, DEA-метод, валидность, региональный менеджмент, субъект федерации, педагогический персонал, инфраструктура, дошкольное образовательное учреждение

УДК:

338.486

Abstract: Despite tangible progress in the development of the federal system for assessing the quality of preschool education, the key problem at the present stage of its development is the problem of imbalance in assessing the comparative effectiveness of financial resources channeled to the regions for the development of pre-school education. This, to a large extent, makes it difficult to take sufficiently effective managerial decisions to improve its quality. At the same time, in the world practice, considerable experience has been accumulated in the application of DEA analysis tools for solving similar problems. The article considers key aspects of the methodology for assessing the comparative effectiveness of financial management based on Data Envelopment Analysis (DEA) or DEA analysis. DEA-analysis was used by the author to comprehensively assess the comparative effectiveness of the implementation of the consolidated budget by the constituent entities of the Federation and territorial state extra-budgetary funds in the sphere of preschool education for the year 2015. The methodological tools of the study are based on methods of system analysis, mathematical, economic, statistical analysis, decomposition and aggregation. The results of the DEA analysis of the results of the implementation of the consolidated budget by the Russian Federation constituents and territorial state extra-budgetary funds in the sphere of preschool education showed that the absolute majority of regions (94%) had extremely low comparative performance of the consolidated budget for best practices. The best practice (absolutely effective) budget execution at the time of the survey was observed in the Chukotka Autonomous District.


Keywords:

consolidated budge, Pre-school education, comparative economic efficiency, DEA-method, validity, regional management, constituent, pedagogical staff, infrastructure, pre-school educational institution

Оценка эффективности исполнения консолидированного бюджета и методология DEA-анализа

В мировой практике накоплен немалый опыт в применении инструментов DEA-анализа для решения проблемы построения сбалансированной оценки эффективности использования ресурсов, направляемых на обеспечение развития и функционирования сложных систем [22,25,26,29], подобных той какой является федеральной система дошкольного образования. Излагая материал о наиболее важных моментах реализации метода DEA, автор исходил из того, что теория метода достаточно полно и широко изложена в отечественной академической литературе [8,10-14,17,19,20] и заинтересованному исследователю не составит особого труда ознакомиться с нею.

Здесь же, ниже, кратко изложим суть метода и важнейшие моменты методики его реализации. Как известно, в DEA-анализе оценка сравнительной эффективности основана на достаточно простом соображении: сопоставляя величину произведенного «результата» (данные на «выходе») с величиной использованных ресурсов (данные на «входе»), можно определить на сколько эффективна рассматриваемая система относительно других, аналогичных систем (используемых те же ресурсы для производства того же продукта). Эффективность каждой системы, входящей в выборку количественно измеряется как отношение ее уровня используемых ресурсов или объема производимого продукта к лучшему соотношению «затраты-результат» из множества рассматриваемых вариантов. Из лучших соотношений строится производственная функция. Множество сравниваемых объектов, располагающихся на линии предельных производственных возможностей образует линию фронта абсолютной эффективности.

Основными достоинствами метода являются [15, с.223]:

· отсутствие необходимости привлечения экспертного знания в априорном задании весовых коэффициентов для переменных «входа» и «выхода» DEA-модели, что чрезвычайно важно в анализе;

· позволяет сформировать Парето-оптимальное множество эффективных субъектов в многомерном пространстве переменных «входа» и «выхода»;

· выявить субъекты, демонстрирующие лучшую практику (best ргасtiсе);

· возможна обработка больших массивов показателей, различной размерности.

Поскольку метод относится к непараметрическим, то его основными недостатками является большая чувствительность к выбранным исследователем набору показателей формирующим «вход» и «выход» DEA-модели, а также проблема гомогенности исходных данных. Хотя в последнее время было предложено немало способов минимизации этих недостатков, например, [27,28,33,34,38,39].

Региональное правительство, осуществляющее финансовый менеджмент в сфере дошкольного образования, выступает в анализе как субъект принятия решений, для реализации которых используются средства консолидированного бюджета и территориальных государственных внебюджетных (ТГВ) фондов [1]. Решения регионального правительства имеют своей главной целью достижение определенного социального результата, в терминах DEA-анализа результат является параметром (параметрами) выхода DEA-модели. В нашем случае «выход» состоял из статистики о организациях (инфраструктура, персонал и др.) осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми за 2015 год (оперативные данные Росстата) [2].

С точки зрения методологии DEA-анализа мерой эффективности расходов регионального правительства является соотношение между результатом и затратами, измеренное относительно выявленной «лучшей практики» среди всех рассматриваемых субъектов управления.

Цель исследования определила выбор DEA-модели: ориентированную на вход (input orientirte). Было принято решение использовать модель с двумя входами – одним монетарным (Y1), суть которого расходы консолидированного бюджета субъекта РФ и ТГВ фондов по статье дошкольное образование скорректированные на численность населения региона. Второй немонетарный (Y2), - доля расходов на дошкольное образование от расходов консолидированного бюджета и ТГВ фондов на образование.

Один из важнейших моментов в DEA-анализе связан с выбором отдачи от масштаба. Как известно, различают два вида моделей: модель постоянной отдачи или CCR-модель и модель переменной отдачи или BCC-модель. В случае с дошкольным образованием последняя модель более приближена к реальной действительности чем CCR-модель. Хотя бы потому, что переменные «выхода», по которым производиться оценка сравнительной эффективности имеют естественные пределы роста, в то время как переменные «входа» теоретически не имеют таких ограничений. Формально говоря, увеличение в k раз финансовых вливаний в эту сферу, необязательно должно привести к увеличению результата также в k раз. В действительности результирующий показатель не может расти до бесконечности. Подтверждение этого мы видим в жизни на каждом шагу и чаще убеждаемся в том, что эта взаимосвязь нелинейна. В экономической теории этот факт известен как концепция убывающей предельной производительности, предложенная в свое время американским неоклассиком Джоном Бейтсом Кларком [9, с. 287-288]. Ее нельзя не учитывать при оценке сравнительной эффективности. Практика DEA-анализа показывает, что в этом случае (при переменной отдаче от масштаба) значительно большее число регионов может оказаться расположенными на фронте эффективности, чем в случае CCR -модели.

Агрегированная оценка эффективности расходов консолидированного бюджета (далее ЭРСКБ-оценка) строилась на основе частных оценок (субоценок) эффективности расходов средств бюджета по 7 направлениям (в соответствии с основными направлениями расхода средств консолидированного бюджета и ТГВ фонда по которым осуществляется статистическая отчетность):

· масштаб ДО;

· доступность ДО;

· техническая инфраструктура дошкольных образовательных учреждений (ДОУ);

· информационно- коммуникационная инфраструктура ДОУ;

· инфраструктура качества ДО;

· обеспеченность ДОУ учебно-педагогическим персоналом;

· экономический статус учебно-педагогический персонала ДОУ.

Содержание и условное обозначение переменных, вошедших в каждый из указанных блоков «выхода» DEA-модели, приведены в таблице 1.

Таблица 1. Блоковая структура переменных «выхода» DEA-модели

Условное обозначение и наименование направления расхода средств

Условное обозначение

переменной

Наименование переменной

A: Масштаб ДО

X1

Охват детей в возрасте 1-6 лет дошкольным образованием, в процентах от численности детей соответствующего возраста, %

X2

Число организаций, осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми (на конец года) в расчете на 1000 жителей, всего

X3

Число дошкольных организаций, осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми (на конец года) в расчете на 1000 жителей, всего

X4

Численность воспитанников тыс. человек в расчете на 1000 жителей, всего

X5

Численность воспитанников в дошкольных образовательных организациях, тыс. человек в расчете на 1000 жителей

B: Доступность ДО

X6

Доля родительской платы в общем объеме средств дошкольной образовательной организации, %

X7

Количество мест в организациях, осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми на 100 воспитанников

C: Техническая инфраструктура ДОУ

X8

Число дошкольных образовательных организаций, не требующих капитального ремонта в % к общему числу дошкольных организаций

X9

Число дошкольных образовательных организаций, не находящихся в аварийном состоянии в % к общему числу дошкольных образовательных организаций

X10

Число дошкольных образовательных организаций, имеющих все виды благоустройства в % к общему числу дошкольных образовательных организаций

X11

Число дошкольных образовательных организаций, имеющих водопровод в % к общему числу дошкольных образовательных организаций

X12

Число дошкольных образовательных организаций, имеющих центральное отопление в % к общему числу дошкольных образовательных организаций

X13

Число дошкольных образовательных организаций, имеющих канализацию в % к общему числу дошкольных образовательных организаций

D: Информационно- коммуникационная инфраструктура ДОУ

X14

Число дошкольных образовательных организаций, предоставляющих на своем сайте нормативно закрепленный перечень сведений о своей деятельности в % к общему числу дошкольных образовательных организаций

X15

Число дошкольных образовательных организаций, имеющих адрес электронной почты в % к общему числу

дошкольных образовательных организаций

E: Инфраструктура качества ДО

X16

Число дошкольных образовательных организаций, имеющих персональные компьютеры, доступные для использования детьми в % к общему числу дошкольных образовательных организаций

X17

Число дошкольных образовательных организаций, имеющих музыкальный зал в % к общему числу дошкольных образовательных организаций

X18

Число дошкольных образовательных организаций, имеющих физкультурный зал в % к общему числу дошкольных образовательных организаций

X19

Число дошкольных образовательных организаций, имеющих закрытый плавательный бассейн в % к общему числу дошкольных образовательных организаций

X20

Число дошкольных образовательных организаций, имеющих зимний сад в % к общему числу дошкольных образовательных организаций

F:Обеспеченность ДОУ учебно-педагогическим персоналом

X21

Численность педагогического персонала организаций, осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми (без внешних совместителей и работников по договорам гражданско-правового характера) в расчете на 10 воспитанников, всего

X22

Учителя – логопеды в расчете на 10 воспитанников

X23

Учителя- дефектологи в расчете на 10 воспитанников

X24

Педагоги – психологи в расчете на 10 воспитанников

H: Экономический статус учебно-педагогических работников ДОУ

X25

Среднемесячная начисленная заработная плата педагогических работников, рублей

X26

Кратность превышения среднемесячной начисленной заработной платы педагогических работников, МРОТ

Разумеется, преимущество такого подхода к построению агрегированного показателя реализуется только при принятии допущения, что высокая оценка по одному направлению может быть компенсирована низкой по другому. В этом случае, несмотря на широкий спектр характеристик изучаемого явления, получаем сбалансированные ЭРСКБ-оценки имеющие высокую аналитическую значимость.

Алгоритм построения ЭРСКБ-оценки

Алгоритм построения оценки представляется следующим образом: на первой стадии по каждому из рассматриваемых направлений оценки формируется статистическая база показателей. Далее, каждый статистический показатель проверяется на возможность непосредственного включения его в соответствующий блок выходных переменных DEA-модели. В случае необходимости исходный статистический показатель преобразуется таким образом, чтоб его смысловое содержание характеризовало позитивный результат процесса (ДО), т. е. более высокие значения показателя должны отвечать его положительной динамике и способствовать росту значения оценки сравнительной эффективности затрат консолидированного бюджета и ТГВ фонда. Например, статистической основой переменной X8 блока «Доступность ДО» являлся показатель «Численность воспитанников на 100 мест в организациях, осуществляющих образовательную деятельность …» который был заменен на обратную величину получившую название «Количество мест в организациях, осуществляющих образовательную деятельность … на 100 воспитанников». В таком виде переменная соответствует логике DEA-анализа. Руководствуясь этим, были преобразованы исходные статистические показатели в противоположные для переменных: X8, X9, X11- X13 и в обратный для переменной X25.

Еще один важный момент подготовки данных связан с их нормированием. Считается, что модели переменного масштаба (BCC-модели) в отличие от моделей постоянного масштаба (CCR-моделей) могут сравнивать переменные «входа» вне зависимости от их размерности. Однако вычислительная практика показывает чувствительность BCC-модели к данным с большой дисперсией (выбросам), поэтому нормирование является крайне желательной процедурой. Есть еще одна причина для нормирования: при больших объемах данных нормировка положительно сказывается на скорости вычислений.

Для обеспечения достаточной «дискриминационной» способности DEA-модели по каждому тематическому блоку, проводилась её проверка на выполнение соотношения между суммой входных и выходных переменных и количеством объектов оценки в выборке, иногда называемое в англоязычной литературе как условие Боулина (Bowlin, W.F.) [23, с.58]или условие Подиновского [32, c.124], или как Дайсона-Подиновского (Dyson, R.G., Podinovski V.V.) [29, c.112].

Другой важный момент связан со способом расчета агрегированной оценки сравнительной эффективности бюджетных расходов по региону. Переход от оценок эффективности по отдельным направлениям к агрегированной оценке эффективности осуществлялся с использованием так же DEA- модели. В этом случае, как и в случае нахождения частных оценок эффективности, переменными «входа» явились расходы консолидированного бюджета субъекта Федерации и бюджета ТГВ фонда, а переменными «выхода» частные оценки эффективности по указанным направлениям расходования средств бюджета. Результаты свертки с использованием указанного подхода, а также с использованием традиционного подхода,- на основе средней (арифметической), приведены в таблице 2.

Таблица 2.

Частные и агрегированная оценки сравнительной эффективности расходования средств консолидированного бюджета и ТГВ фондов по субъектам Российской федерации.

Субъект РФ

Частный показатель сравнительной эффективности по направлениям оценки

Агрегированная оценка сравнительной эффективности по методу средней арифметической

Агрегированная оценка сравнительной эффективности по методу DEA, BCC -модель

A

B

C

D

E

F

G

А

1

2

3

4

5

6

7

8

9

Белгородская область

0,67

0,67

0,68

0,71

0,66

0,66

0,60

0,66

0,60

Брянская область

0,65

0,63

0,69

0,68

0,63

0,64

0,57

0,64

0,57

Владимирская область

0,48

0,52

0,55

0,55

0,44

0,47

0,44

0,49

0,44

Воронежская область

0,66

0,69

0,72

0,73

0,70

0,66

0,63

0,68

0,63

Ивановская область

0,48

0,48

0,53

0,53

0,43

0,52

0,43

0,49

0,43

Калужская область

0,56

0,57

0,62

0,63

0,62

0,58

0,54

0,59

0,54

Костромская область

0,64

0,59

0,62

0,58

0,51

0,59

0,51

0,58

0,51

Курская область

0,71

0,80

0,81

0,81

0,74

1,00

1,00

0,84

0,70

Липецкая область

0,63

0,62

0,66

0,68

0,59

0,64

0,57

0,63

0,57

Московская область

0,48

0,52

0,52

0,55

0,58

0,58

0,47

0,53

0,45

Орловская область

0,70

0,70

0,77

0,70

0,65

0,96

0,65

0,73

0,65

Рязанская область

0,66

0,64

0,70

0,68

0,59

0,80

0,59

0,67

0,59

Смоленская область

0,64

0,71

0,69

0,73

0,65

0,64

0,60

0,67

0,60

Тамбовская область

0,72

0,71

0,78

0,76

0,71

0,78

0,64

0,73

0,64

Тверская область

0,65

0,62

0,65

0,65

0,56

0,59

0,56

0,61

0,56

Тульская область

0,58

0,62

0,69

0,58

0,58

0,68

0,58

0,62

0,58

Ярославская область

0,51

0,50

0,53

0,57

0,46

0,76

0,48

0,54

0,46

г. Москва

0,65

1,00

0,77

0,65

1,00

0,65

0,65

0,77

0,65

Республика Карелия

0,54

0,59

0,56

0,59

0,51

0,59

0,48

0,55

0,48

Республика Коми

0,71

0,62

0,67

0,69

0,65

0,63

0,56

0,65

0,56

Архангельская область

0,50

0,55

0,51

0,50

0,52

0,70

0,50

0,54

0,50

Ненецкий автономный округ

0,71

0,59

0,61

0,71

0,83

1,00

0,59

0,72

0,59

Вологодская область

0,55

0,58

0,55

0,56

0,53

0,54

0,47

0,54

0,47

Калининградская область

0,42

0,45

0,46

0,49

0,50

0,45

0,40

0,45

0,40

Ленинградская область

0,43

0,43

0,49

0,50

0,51

0,57

0,43

0,48

0,41

Мурманская область

0,46

0,46

0,53

0,52

0,58

0,76

0,43

0,53

0,43

Новгородская область

0,51

0,52

0,55

0,52

0,52

0,68

0,46

0,54

0,46

Псковская область

0,62

0,73

0,63

0,61

0,61

0,70

0,61

0,64

0,61

г. Санкт-Петербург

0,47

0,47

0,56

0,57

0,68

0,77

0,49

0,57

0,47

Республика Адыгея

0,61

0,59

0,67

0,68

0,59

0,58

0,55

0,61

0,55

Республика Калмыкия

0,69

0,65

0,62

0,66

0,61

0,61

0,59

0,63

0,59

Краснодарский край

0,46

0,47

0,52

0,54

0,44

0,48

0,44

0,48

0,44

Астраханская область

0,85

0,91

0,89

0,88

0,79

0,91

0,79

0,86

0,79

Волгоградская область

0,60

0,66

0,65

0,66

0,57

0,62

0,57

0,62

0,57

Ростовская область

0,50

0,50

0,53

0,54

0,47

0,51

0,47

0,50

0,47

Республика Дагестан

1,00

1,00

0,99

0,94

0,94

0,98

0,94

0,97

0,94

Республика Ингушетия

0,88

0,88

0,87

0,93

0,99

0,90

0,83

0,90

0,83

Кабардино-Балкарская Республика

0,62

0,58

0,56

0,53

0,90

0,51

0,51

0,60

0,51

Карачаево-Черкесская Республика

0,54

0,49

0,56

0,57

0,49

0,51

0,49

0,52

0,49

Республика Северная Осетия–Алания

0,62

0,62

0,61

0,57

0,57

0,61

0,57

0,60

0,57

Чеченская Республика

1,00

0,92

0,96

1,00

0,84

1,00

0,84

0,94

0,84

Ставропольский край

0,50

0,49

0,56

0,58

0,48

0,52

0,47

0,51

0,47

Республика Башкортостан

0,63

0,62

0,64

0,64

0,57

0,62

0,56

0,61

0,56

Республика Марий Эл

0,66

0,76

0,70

0,69

0,57

0,72

0,57

0,67

0,57

Республика Мордовия

0,68

0,67

0,70

0,72

0,60

0,65

0,59

0,66

0,59

Республика Татарстан

0,70

0,78

0,69

0,73

0,90

0,66

0,60

0,72

0,60

Удмуртская Республика

0,59

0,54

0,58

0,55

0,50

0,54

0,49

0,54

0,49

Чувашская Республика

0,59

0,62

0,64

0,63

1,00

0,57

0,50

0,65

0,50

Пермский край

0,48

0,50

0,51

0,46

0,49

0,50

0,46

0,49

0,46

Кировская область

0,56

0,58

0,56

0,56

0,54

0,62

0,48

0,56

0,48

Нижегородская область

0,50

0,51

0,54

0,57

0,46

0,52

0,46

0,51

0,46

Оренбургская область

0,63

0,62

0,70

0,67

0,57

0,61

0,57

0,62

0,57

Пензенская область

0,48

0,54

0,58

0,48

0,56

0,53

0,48

0,52

0,48

Самарская область

0,87

0,97

1,00

0,87

0,96

1,00

0,87

0,93

0,87

Саратовская область

0,63

0,63

0,65

0,68

0,56

0,66

0,56

0,62

0,56

Ульяновская область

0,61

0,62

0,67

0,69

0,58

0,65

0,56

0,63

0,56

Курганская область

0,60

0,56

0,54

0,52

0,49

0,53

0,49

0,53

0,49

Свердловская область

0,43

0,45

0,41

0,40

0,40

0,46

0,40

0,42

0,40

Тюменская область

0,52

0,77

0,64

0,62

1,00

0,60

0,76

0,70

0,51

Ханты-Мансийский автономный округ - Югра

0,58

0,63

0,66

0,70

1,00

0,71

0,60

0,70

0,58

Ямало-Ненецкий автономный округ

0,54

0,55

0,61

0,65

0,82

0,71

0,55

0,63

0,53

Челябинская область

0,73

0,92

0,61

0,58

0,53

0,93

0,49

0,68

0,49

Республика Алтай

0,86

0,78

0,84

0,83

0,66

0,72

0,66

0,76

0,66

Республика Бурятия

0,81

1,00

0,75

0,84

0,69

0,71

0,71

0,79

0,69

Республика Тыва

1,00

0,81

0,69

0,76

0,68

0,81

0,68

0,78

0,68

Республика Хакасия

0,71

0,68

0,70

0,70

0,68

0,77

0,58

0,69

0,58

Алтайский край

0,70

0,68

0,70

0,67

0,59

0,64

0,59

0,65

0,59

Забайкальский край

0,78

0,72

0,67

0,74

0,65

0,70

0,65

0,70

0,65

Красноярский край

0,58

0,56

0,60

0,61

0,62

0,63

0,53

0,59

0,53

Иркутская область

0,57

0,58

0,56

0,62

0,55

0,58

0,51

0,57

0,51

Кемеровская область

0,52

0,52

0,56

0,58

0,63

0,63

0,47

0,56

0,47

Новосибирская область

0,49

0,50

0,54

0,54

0,52

0,56

0,46

0,52

0,46

Омская область

0,70

0,77

0,78

0,71

0,66

0,68

0,63

0,70

0,63

Томская область

0,53

0,53

0,59

0,60

0,66

0,75

0,48

0,59

0,48

Республика Саха (Якутия)

0,78

0,64

0,68

0,72

0,72

0,69

0,61

0,69

0,61

Камчатский край

0,58

0,59

0,67

0,68

1,00

1,00

0,55

0,72

0,55

Приморский край

0,54

0,59

0,60

0,60

0,52

0,54

0,51

0,56

0,51

Хабаровский край

0,63

0,71

0,67

0,72

0,63

0,69

0,60

0,66

0,60

Амурская область

0,75

1,00

0,89

0,86

0,76

0,81

0,72

0,83

0,72

Магаданская область

0,67

0,74

0,80

0,78

1,00

1,00

0,62

0,80

0,62

Сахалинская область

0,44

0,43

0,49

0,51

0,45

0,47

0,42

0,46

0,41

Еврейская автономная область

0,71

0,70

0,72

0,67

0,61

0,69

0,61

0,67

0,61

Чукотский автономный округ

1,00

1,00

1,00

1,00

1,00

1,00

1,00

1,00

1,00

Республика Крым

0,70

0,69

0,75

0,77

0,67

0,73

0,67

0,71

0,67

г. Севастополь

0,56

0,60

0,63

0,68

0,70

1,00

0,55

0,67

0,55

Как видно, эти оценки (гр.8 и гр.9, табл.4), в ряде случаев, имеют существенные отличия, хотя в целом адекватно отражают характер распределения регионов в пространстве субоценок эффективности. Коэффициент корреляция между ними составил 0,98. В этой связи следует отметить, что к настоящему времени в бенчмаркинге все чаще прибегают к практике построения (свертки) агрегированного оценочного показателя с использованием DEA-моделей (если критерии попарно независимы по предпочтению). Обоснование правомерности такого подхода в свое время было дано американскими Р.Л. Кини и Х. Райфом [18], среди отечественных исследователей эта проблема рассматривалась в работах В.В. Подиновского [16] и А.С.Ахременко [6,7].

Еще один ключевой момент исследования связан с валидизацией методики. Требование валидности одно из важнейших, нарекания в адрес многих методик оценки эффективности вызваны именно сомнительностью в их валидности. Как известно, провести валидизацию - это показать, на самом ли деле полученные оценки измеряют именно то, что мы хотим измерить. Здравый смысл подсказывает, что ЭРСКБ-оценка определяется не только степенью профессионализма регионального правительства, его приверженностью эджайл (Agile)-принципам или умением применять скрам (Scrum) -технологии, но и объективными условиями внешней среды. Методика должна предусматривать учет того обстоятельства, что совокупность рассматриваемых регионов неоднородна по своим природно-климатическим, этно-социальным, демографическим признакам, по системе расселения, по освоенности территории и др.

Для решения проблемы валидности ЭРСКБ-оценки, монетарный «входной» показатель (расходы консолидированного бюджета и расходы территориального государственного внебюджетных фонда) DEA-модели делился на индекс бюджетных расходов (ИБР). Этот индекс рассчитывается и публикуется Министерством финансов РФ, он характеризует изменение затрат средств бюджета (на душу населения) в регионе, с учетом объективных местных условий и факторов, относительно среднего их уровня по стране, для оказания такого же объема бюджетных услуг [4, c.4]. Подобный прием достаточно широко используется в региональном финансовом анализе, он прост и, вместе с тем, дает достаточно надежные результаты [5,21].

В нашем случае, мерой валидности является степень изменения коэффициента корреляции ЭРСКБ-оценок, найденных с использованием входных данных «очищенных» и «неочищенных» от влияния условий внешней среды, с показателями, формирующими индекс бюджетных расходов Минфина России [3]. Ниже в таблице 3 показана корреляция между ЭРСКБ-оценками полученными при использовании в DEA-модели входных данных с учетом и без учета влияния условий внешней среды.

Таблица 3. Корреляция ЭРСКБ-оценок с базовыми показателями и результатами исчисления индекса бюджетных расходов Минфина России.

Показатель

Коэффициент корреляции ЭРСКБ-оценок полученных с использованием в DEA-модели входных данных «очищенных» от влияния условий внешней среды

Коэффициент корреляции ЭРСКБ-оценок полученных с использованием в DEA-модели входных данных «неочищенных» от влияния условий внешней среды

Коэффициент дисперсности расселения

-0,03

-0,64

Коэффициент транспортной доступности

-0,02

-0,71

Отношение стоимости фиксированного набора товаров и услуг в регионе к среднему по Российской Федерации

0,09

-0,66

Как следует из таблицы, коэффициенты корреляции ЭРСКБ-оценок, полученных с использованием «очищенных» переменных «входа», с показателями условий внешнего окружения, по сравнению с корреляцией ЭРСКБ-оценок полученных с использованием «неочищенных» переменных «входа», изменились почти на порядок (в меньшую сторону).

Распределение регионов по величине агрегированной ЭРСКБ-оценки

Все регионы, исходя из величины агрегированного показателя сравнительной эффективности расходования средств консолидированного бюджета были разделены на три группы:

· 1-я группа «регионы-аутсайдеры» (ЭРСКБ-оценка < 0,60);

· 2-я группа «микст-регионы» (ЭРСКБ-оценка в пределах 0,60÷0,80);

· 3-я группа «регионы-лидеры» (ЭРСКБ-оценка >0,80).

Результаты ранжирования субъектов РФ в порядке возрастания агрегированной ЭРСКБ-оценки за 2015 г., показаны в табл. 4.

Таблица 4.

Группировка субъектов РФ по величине агрегированной оценки сравнительной эффективности расходования средств консолидированного бюджета и ТГВ фондов.

№ п/п

Субъект РФ

Агрегированная оценка сравнительной эффективности (свертка методом DEA, BCC -модель)

Ранг (по агрегированной оценке)

А

1

2

группа «регионы-аутсайдеры»

1

Свердловская область

0,40

84

2

Калининградская область

0,40

84

3

Ленинградская область

0,41

82

4

Сахалинская область

0,41

82

5

Ивановская область

0,43

80

6

Мурманская область

0,43

80

7

Краснодарский край

0,44

78

8

Владимирская область

0,44

78

9

Московская область

0,45

77

10

Ярославская область

0,46

72

11

Пермский край

0,46

72

12

Нижегородская область

0,46

72

13

Новосибирская область

0,46

72

14

Новгородская область

0,46

72

15

г. Санкт-Петербург

0,47

67

16

Ростовская область

0,47

67

17

Ставропольский край

0,47

67

18

Вологодская область

0,47

67

19

Кемеровская область

0,47

67

20

Кировская область

0,48

63

21

Пензенская область

0,48

63

22

Томская область

0,48

63

23

Республика Карелия

0,48

63

24

Удмуртская Республика

0,49

59

25

Челябинская область

0,49

59

26

Курганская область

0,49

59

27

Карачаево-Черкесская Республика

0,49

59

28

Чувашская Республика

0,50

57

29

Архангельская область

0,50

57

30

Тюменская область

0,51

52

31

Иркутская область

0,51

52

32

Приморский край

0,51

52

33

Кабардино-Балкарская Республика

0,51

52

34

Костромская область

0,51

52

35

Ямало-Ненецкий автономный округ

0,53

50

36

Красноярский край

0,53

50

37

Калужская область

0,54

49

38

Камчатский край

0,55

46

39

г. Севастополь

0,55

46

40

Республика Адыгея

0,55

46

41

Республика Башкортостан

0,56

41

42

Саратовская область

0,56

41

43

Ульяновская область

0,56

41

44

Тверская область

0,56

41

45

Республика Коми

0,56

41

46

Волгоградская область

0,57

35

47

Оренбургская область

0,57

35

48

Липецкая область

0,57

35

49

Брянская область

0,57

35

50

Республика Северная Осетия–Алания

0,57

35

51

Республика Марий Эл

0,57

35

52

Тульская область

0,58

32

53

Ханты-Мансийский автономный округ - Югра

0,58

32

54

Республика Хакасия

0,58

32

55

Рязанская область

0,59

27

56

Республика Мордовия

0,59

27

57

Алтайский край

0,59

27

58

Республика Калмыкия

0,59

27

59

Ненецкий автономный округ

0,59

27

Группа «микст-регионы»

1

Белгородская область

0,60

23

2

Республика Татарстан

0,60

23

3

Хабаровский край

0,60

23

4

Смоленская область

0,60

23

5

Республика Саха (Якутия)

0,61

20

6

Еврейская автономная область

0,61

20

7

Псковская область

0,61

20

8

Магаданская область

0,62

19

9

Воронежская область

0,63

17

10

Омская область

0,63

17

11

Тамбовская область

0,64

16

12

г. Москва

0,65

13

13

Забайкальский край

0,65

13

14

Орловская область

0,65

13

15

Республика Алтай

0,66

12

16

Республика Крым

0,67

11

17

Республика Тыва

0,68

10

18

Республика Бурятия

0,69

9

19

Курская область

0,70

8

20

Амурская область

0,72

7

21

Астраханская область

0,79

6

Группа «регионы-лидеры»

1

Республика Ингушетия

0,83

5

2

Чеченская Республика

0,84

4

3

Самарская область

0,87

3

4

Республика Дагестан

0,94

2

5

Чукотский автономный округ

1,00

1

Анализ результатов позволил выявить ряд интересных моментов: как и предполагалось, дисперсия агрегированной ЭРСКБ-оценки ниже, чем среди субоценок, что обусловлено в значительной степени, «эффектом нивелирования», когда отставание в эффективности по одним направлениям оценки балансируется доминированием по другим.

Таким образом ЭРСКБ-оценка является сглаженной величиной, в определенной мере, уравновешивающей разные слагаемые эффективности и одновременно – их скрывающей.

Рассмотрим первую группу, куда входят регионы с низким значением ЭРСКБ-оценки (до 60%), таких 59 и вторую группу, так называемых «микст-регионов», со «средними» значениями оценки (от 60 до 80%), таких 21. Более 70% регионов первой группы характеризуются однородностью частных оценок эффективности по всем рассматриваемым направлениям расходования средств консолидированного бюджета. В то время как во второй группе, только у трех регионов (Белгородская, Тамбовская области и Хабаровский край) совокупность частных оценок эффективности является однородной. Как видно из таблицы 2 однородность частных оценок не подтверждает тезис о наличии прямой связи между сбалансированностью и уровнем агрегированной ЭРСКБ-оценки. В 7 из 80 регионов первых двух групп эффективность расходования финансовых ресурсов по одному из семи направлений оценки существенно выше чем по остальным. Чаще всего среди этих направлений - «Инфраструктура качества ДО» (республика Чувашия, Тюменская область и Ханты-Мансийский автономный округ), «Обеспеченность учебно-педагогическим персоналом» (Ненецкий автономный округ, Амурская область), по направлению «Масштаб ДО» (республика Тыва), а по направлению «Доступность ДО» (Амурская область). И только в четырех регионах – имеет место лидерство по двум частным направлениям ЭРСКБ-оценки: «Доступность ДО» и «Инфраструктура качества ДО» (г. Москва); «Экономический статус учебно-педагогических работников ДОУ» и «Обеспеченность учебно-педагогическим персоналом» (Курская область); «Инфраструктура качества ДО» и «Обеспеченность учебно-педагогическим персоналом» (Камчатский край и Магаданская область).

Повышение эффективности расходов бюджета практически по всем направлениям выступает существенным резервом повышения ЭРСКБ-оценки в регионах 1-ой группы. Эти регионы являются абсолютными аутсайдерами. Если к 59 регионам 1-й группы прибавить 21 регион из 2-й группы («микст-регионы»), у которых по большинству направлений оценки также «провальные» позиции, то получим объективную (тревожную) картину положения дел с расходованием средств консолидированного бюджета в сфере дошкольного образования относительно лучших практик «best practics», представленных в 3-й группе.

Третья группа объединяет регионы-лидеры, занимающие с 1 по 5 места в общем перечне регионов по величине агрегированной ЭРСКБ-оценки. В эту группу вошли республики Ингушетия, Дагестан, Чеченская республика, Самарская область и Чукотский автономный округ. В основании 3-й группы находятся лучшие из лучших,- тройка регионов: Самарская область, республика Дагестан и Чукотский автономный округ, причем последний, в соответствии с методологией DEA-анализа, имеет абсолютно эффективную сравнительную ЭРСКБ- оценку равную 100%.

На первый взгляд субоценки эффективности у республик этой группы выглядят адекватно их агрегатной ЭРСКБ-оценке. Однако здесь, как и во второй группе «микст-регионов», частные оценки эффективности образуют неоднородные совокупности. На примере этой группы убеждаемся в наличии другой тенденции: прямой и тесной связи между значением агрегированной ЭРСКБ-оценки и вариацией частных оценок эффективности. По-видимому, некоторые частные оценки играют доминирующую роль в формировании агрегированной ЭРСКБ-оценки в сравнении с другими. Так Чеченская республика, имеет крайне неоднородную совокупность субоценок. По третьему и шестому направлениям оценок у нее самые «слабые» позиции в этой группе, однако высокие показатели по второму, четвертому и седьмому направлениям обеспечили ей в итоге место в пятерке лидеров. Проведенный анализ значимости семи частных оценок эффективности (по данным таблицы 2), с использованием метода главных компонент показал, что более 80% объясненной дисперсии приходится лишь на одну главную компоненту. Причем нагрузки у трех из семи входящих в эту компоненту переменных: «Техническая инфраструктура ДО», «Информационно-коммуникационная инфраструктура ДО» и «Экономический статус учебно-педагогических работников» близки к единице. Этот обстоятельство в значительной степени объясняет существование «странной» (на первый взгляд) тенденции и, в то же время, помогает определиться с выбором «критических» (на тот период времени) субоценок для агрегированной ЭРСКБ-оценки.

Таким образом, DEA-анализ показал, что по крайней мере, в 80 регионах из 85, т.е. в 94% случаев расходование средств консолидированного бюджета и ТГВ фондов, в сфере дошкольного образования, не эффективно. Напомним, что речь идет о показателе относительной эффективности. Лучшую практику в сфере бюджетного администрирования показывает Чукотский автономный округ, региональная система финансового менеджмента здесь является абсолютно эффективной по всем направлениям оценки.

Учитывая высокую чувствительность DEA-моделей к «выбросам», был проведен расчет ЭРСКБ-оценки по описанной выше методике применительно к той же совокупности субъектов РФ за исключением Чукотского автономного округа. В этом случае, абсолютно эффективной квалифицируется деятельность уже 6 субъектов: Тюменской, Самарской, Челябинской, Амурской областей и двух республик Дагестан и Тыва. В четырех субъектах: республиках Бурятия, Алтай, а также в Астраханской и Магаданской областях значения ЭРСКБ-оценки близки к 1. В то же время у остальных регионов ЭРСКБ-оценки остались практически на прежнем уровне. Таким образом о кардинальном изменении ситуации в лучшую сторону говорить не приходиться. Следует ли вообще воспринимать «позицию» Чукотского автономного округа в выбранном нами пространстве признаков как «выброс»? Ответ на этот вопрос можно найти в табл.5, если сравнить объемы используемых ресурсов на «входе» у аутсайдера (Свердловская и Калинградская области) и лидера - Чукотского автономного округа.

Таблица 5.

Показатели переменных «входа» у регионов- аутсайдеров и региона-лидера в DEA- модели расчета ЭРСКБ-оценки

Субъект РФ

Ресурсы «входа»

Индекс бюджетных расходов в соответствии с методикой распределения дотаций на выравнивание бюджетной обеспеченности субъектов РФ

(справочно)

Доля расходов на дошкольное образование от расходов консолидированного бюджета и территориальных государственного внебюджетных фондов в 2015 на образование, %

Приведенные расходы консолидированных бюджетов субъектов Российской Федерации и территориальных государственного внебюджетных фондов в 2015 гг. в дошкольное образование с учетом индекса бюджетных расходов на одного воспитанника, (млн.руб)

Калининградская область

36,8

0,13

0,87

Свердловская область

36,5

0,13

0,91

Чукотский автономный округ

14,8

0,01

13,08

Как видно из таблицы Чукотский округ, при использовании финансовых ресурсов в расчете на одного воспитанника (с учетом ИБР) на порядок меньше чем у аутсайдеров и направляя в сферу дошкольного образования меньшую долю (менее чем в 2,5 раза) средств чем у аутсайдеров, демонстрирует эффективность их использования в 2,5 раза выше чем у аутсайдеров. Нетрудно заметить, что положение дел с ресурсами на «входе» в принципе не измениться, если даже перейти к номинальному выражению затрат. Следовательно, предположение о том, что высокая агрегированная ЭРСКБ-оценка Чукотского округа обусловлена искусственным занижением размера используемых финансовых ресурсов путем корректировки их на величину ИБР следует отвергнуть, т.е. этот субъект в рассматриваемой совокупности регионов не является «выбросом».

Заключение

1. В целом, применение DEA-метода к оценке сравнительной эффективности исполнения консолидированного бюджета субъектами федерации в сфере дошкольного образования позволило:

• провести диагностику эффективности расходования средств как по отдельным направлениям их использования, так и получить общую, агрегированную оценку сравнительной эффективности исполнения консолидированного бюджета субъектами федерации;

• найти количественную меру ЭРСКБ-оценки;

• отыскивать эффективные границы деятельности регионального менеджмента в пространстве входных и выходных факторов ДО;

• определить направления изменения переменных «входа»/«выхода» для достижения эффективности эталонной группы лучших регионов;

• провести оценку и сопоставить возможных сценарии развития системы с точки зрения сравнительной эффективности использования ресурсов субъектами этой системы.

2. Чем более многофакторными являются исследуемые региональные социально-экономические системы, тем более эффективным может быть применение рассмотренного метода.

Автор надеется, что полученные результаты послужат удовлетворению информационных потребностей федерального и регионального менеджмента, занимающихся проблемами оптимизации финансового обеспечения системы дошкольного образования в стране.

Библиография
1. Федеральное казначейство. Консолидированные бюджеты субъектов Российской Федерации и бюджетов территориальных государственных внебюджетных фондов в 2015 году. [Электронный ресурс] URL: http://www.roskazna.ru/ispolnenie-byudzhetov/konsolidirovannye-byudzhety-subektov/ (дата обращения: 18.03.2017)
2. Федеральная служба государственной статистики. Оперативная информация. Сведения об организациях, осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми за 2015 год. [Электронный ресурс]. URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/population/education/ (дата обращения: 18.03.2017)
3. Минфин России. Mетодика распределения средств фонда финансовой поддержки субъектов российской федерации. [Электронный ресурс]. URL: http://minfin.ru/common/upload/library/2000/11/mffpr1.doc. (дата обращения: 31.01.2017)
4. Минфин России. Уровень расчетной бюджетной обеспеченности субъектов Российской Федерации после распределения дотаций на выравнивание бюджетной обеспеченности и индекс бюджетных расходов в 2015-2017 годах. [Электронный ресурс]. URL: http://minfin.ru/ru/document/?id_4=23057. (дата обращения: 31.01.2017)
5. Ахременко А. С., Петров А. П. Институциональное инвестирование и эффективность общественной системы: опыт математического моделирования // В кн.: Метод: московский ежегодник трудов из обществоведческих дисциплин / Под общ. ред.: М. В. Ильин. Вып. 4. М. : ИНИОН РАН, 2014. С. 62-82.
6. Ахременко А. С., Юрескул Е. А. Эффективность государственного управления: политологический и экономический подходы // Общественные науки и современность, № 1, 2013
7. Ахременко, А. С. Социальная эффективность государства в регионах России: 2008 – 2011 гг. [Электронный ресурс] : препринтWP14/2013/07 / А. С. Ахременко; Нац. исслед. ун-т«Высшая шко-ла экономики». – М. : Изд. дом Высшей школы экономики, 2013. – Электрон. текст. дан. (1МВ). – 64 с. – (СерияWP14 «Политическая теория и политический анализ»).
8. Буссофиане А., Дайсон Р. Дж., Танасулис Э. 2012. Прикладной анализ свертки данных. Российский журнал менеджмента 10 (2): 63–88.
9. Дж. Б. Кларк, Распределение богатства, М.: Гелиос АРВ, 2000. 367c.
10. Кривоножко В.Е. Неформальное описание технологии АСФ // «Банковские технологии». 2001. №5. С. 19–28.
11. Кривоножко В.Е., Лычев А.В. Анализ деятельности сложных социально-экономических систем.-М.: Издательский отдел факультета ВМиК МГУ имени М.В. Ломоносова (лицензия ИД N 05899 от 24.09.2001 г.); МАКС Пресс, 2010.-208 с.
12. Кривоножко, В. Е. Анализ эффективности функционирования сложных систем. [Текст] / В. Е. Кривоножко // Автоматизация проектирования.-1999.-№ 1
13. Лисситса А. Анализ оболочки данных (DEA). Современная методика определения эффективности производства / А. Лисситса, Т. Бабичева.-Halle : Institute of agricultural development of Central and Eastern Europe, Germany, 2003.-32 p.
14. Мазорчук М. С., Добряк В. С., Емельянов П. С. Анализ практического применения метода «охвата данных» для оценки эффективности образовательного процесса. // Открытые информационные и компьютерные интегрированные технологии. № 69, 2015. С.234-246
15. Моргунов, Е. П. Многомерная классификация сложных объектов на основе оценки их эффективности [Текст] /Е. П. Моргунов, О. Н. Моргунова //Вестник НИИ СУВПТ: сб. науч. тр. /Под общ. ред. проф. Н. В. Василенко. – Красноярск, 2003. – Вып. 14. – С. 222–240.
16. Подиновский В. В., Гаврилов В. М. Оптимизация по последовательно применяемым критериям. М.: Советское радио, 1975. 192 с.
17. Порунов А.Н. Оценка сравнительной эффективности государственного менеджмента экологической безопасности в регионе методом DEA-анализа (на примере Приволжского федерального округа) Научный журнал НИУ ИТМО. Серия «Экономика и экологический менеджмент» № 1, 2016. C.104-111
18. Р.Л. Кини, Х. Райф Принятие решений при многих критериях: предпочтения и замещения. М.: Радио и связь, 1981. 560 с.
19. Федотов Ю. В. Метод DEA: анализ свертки данных. Высшая школа менеджмента СПбГУ, Российский журнал менеджмента, Том 10, № 2, 2012
20. Федотов Ю. В. 1992. Оценка эффективности производственной деятельности фирмы с помощью производственной функции. Вестник С.-Петербургского ун-та. Серия Экономика (3): 112–118.
21. Швецов А.В. Статистический анализ бюджетной обеспеченности субъектов Российской Федерации // Российское предпринимательство. — 2010. — № 7-1 (162). — с. 138-142. — URL: http://bgscience.ru/lib/6108/. Дата обращения: 15.11.16
22. Andersen P., Petersen N. A procedure for ranking efficient units in data envelopment analysis, Manage. Sci. 39 (10), 1261-1264, 1993.
23. Bowlin, W.F. (1998) Measuring Performance: An Introduction to Data Envelopment Analysis (DEA). Journal of Cost Analysis 7, 3-27.
24. Charnes A., Cooper W. W., Rhodes E. 1978. Measuring the efficiency of decision making units. European Journal of Operational Research 2 (6): 429–444.
25. Coelli T., Prasada Rao D. S., Battese G. E. 2005. An Introduction to Efficiency and Productivity Analysis. 2nd ed. Springer: N. Y.
26. Cook WD, Harrison J, Imanirad R, Rouse P, Zhu J. Data Envelopment Analysis with Nonhomogeneous DMUs. Oper. Res. Vol. 61, No. 3, May–June 2013, pp. 666–676 ISSN 0030-364X (print) . ISSN 1526-5463 (online)
27. Cook WD, Zhu J (2011) Multiple variable proportionality in DEA. Oper. Res. 59(4):1024–1032.
28. Cooper W. W., Seiford L. M., Zhu J. (eds.). 2004. Handbook on Data Envelopment Analysis. Kluwer-Nijhoff Publishing: BostonDordrecht-Lancaster.
29. Dyson, R.G., Allen, R., Camanho, A.S., Podinovski, V.V., Sarrico, C.S., and Shale, E.A., (2001) Pitfalls and Protocols in DEA, European Journal of Operational Research, 132, 245-259.
30. Hammerschmidt, M. (2006): Effizienzanalyse im Marketing – Ein produktionstheoretisch fundierter Ansatz auf Basis von Frontier Functions. Wiesbaden 2006.
31. Hammerschmidt, M./Falk, T./Bauer, H. H. (2009): Investigating the Brand Productivity Gap. Working paper, Universität Mannheim 2009.
32. Podinovski V.V, Athanassopoulos A. Assessing the relative efficiency of decision making units in DEA models with weight restrictions, J. Oper. Res. Soc. 49, 500-508, 1998.
33. The problem of a missing output in a subset of decision making units. Eur. J. Oper. Res. 220(1):79–84.
34. Wilken, R. (2007): Dynamisches Benchmarking. Ein Verfahren auf Basis der Data Envelopment Analysis. Wiesbaden 2007.
References
1. Federal'noe kaznacheistvo. Konsolidirovannye byudzhety sub''ektov Rossiiskoi Federatsii i byudzhetov territorial'nykh gosudarstvennykh vnebyudzhetnykh fondov v 2015 godu. [Elektronnyi resurs] URL: http://www.roskazna.ru/ispolnenie-byudzhetov/konsolidirovannye-byudzhety-subektov/ (data obrashcheniya: 18.03.2017)
2. Federal'naya sluzhba gosudarstvennoi statistiki. Operativnaya informatsiya. Svedeniya ob organizatsiyakh, osushchestvlyayushchikh obrazovatel'nuyu deyatel'nost' po obrazovatel'nym programmam doshkol'nogo obrazovaniya, prismotr i ukhod za det'mi za 2015 god. [Elektronnyi resurs]. URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/population/education/ (data obrashcheniya: 18.03.2017)
3. Minfin Rossii. Metodika raspredeleniya sredstv fonda finansovoi podderzhki sub''ektov rossiiskoi federatsii. [Elektronnyi resurs]. URL: http://minfin.ru/common/upload/library/2000/11/mffpr1.doc. (data obrashcheniya: 31.01.2017)
4. Minfin Rossii. Uroven' raschetnoi byudzhetnoi obespechennosti sub''ektov Rossiiskoi Federatsii posle raspredeleniya dotatsii na vyravnivanie byudzhetnoi obespechennosti i indeks byudzhetnykh raskhodov v 2015-2017 godakh. [Elektronnyi resurs]. URL: http://minfin.ru/ru/document/?id_4=23057. (data obrashcheniya: 31.01.2017)
5. Akhremenko A. S., Petrov A. P. Institutsional'noe investirovanie i effektivnost' obshchestvennoi sistemy: opyt matematicheskogo modelirovaniya // V kn.: Metod: moskovskii ezhegodnik trudov iz obshchestvovedcheskikh distsiplin / Pod obshch. red.: M. V. Il'in. Vyp. 4. M. : INION RAN, 2014. S. 62-82.
6. Akhremenko A. S., Yureskul E. A. Effektivnost' gosudarstvennogo upravleniya: politologicheskii i ekonomicheskii podkhody // Obshchestvennye nauki i sovremennost', № 1, 2013
7. Akhremenko, A. S. Sotsial'naya effektivnost' gosudarstva v regionakh Rossii: 2008 – 2011 gg. [Elektronnyi resurs] : preprintWP14/2013/07 / A. S. Akhremenko; Nats. issled. un-t«Vysshaya shko-la ekonomiki». – M. : Izd. dom Vysshei shkoly ekonomiki, 2013. – Elektron. tekst. dan. (1MV). – 64 s. – (SeriyaWP14 «Politicheskaya teoriya i politicheskii analiz»).
8. Bussofiane A., Daison R. Dzh., Tanasulis E. 2012. Prikladnoi analiz svertki dannykh. Rossiiskii zhurnal menedzhmenta 10 (2): 63–88.
9. Dzh. B. Klark, Raspredelenie bogatstva, M.: Gelios ARV, 2000. 367c.
10. Krivonozhko V.E. Neformal'noe opisanie tekhnologii ASF // «Bankovskie tekhnologii». 2001. №5. S. 19–28.
11. Krivonozhko V.E., Lychev A.V. Analiz deyatel'nosti slozhnykh sotsial'no-ekonomicheskikh sistem.-M.: Izdatel'skii otdel fakul'teta VMiK MGU imeni M.V. Lomonosova (litsenziya ID N 05899 ot 24.09.2001 g.); MAKS Press, 2010.-208 s.
12. Krivonozhko, V. E. Analiz effektivnosti funktsionirovaniya slozhnykh sistem. [Tekst] / V. E. Krivonozhko // Avtomatizatsiya proektirovaniya.-1999.-№ 1
13. Lissitsa A. Analiz obolochki dannykh (DEA). Sovremennaya metodika opredeleniya effektivnosti proizvodstva / A. Lissitsa, T. Babicheva.-Halle : Institute of agricultural development of Central and Eastern Europe, Germany, 2003.-32 p.
14. Mazorchuk M. S., Dobryak V. S., Emel'yanov P. S. Analiz prakticheskogo primeneniya metoda «okhvata dannykh» dlya otsenki effektivnosti obrazovatel'nogo protsessa. // Otkrytye informatsionnye i komp'yuternye integrirovannye tekhnologii. № 69, 2015. S.234-246
15. Morgunov, E. P. Mnogomernaya klassifikatsiya slozhnykh ob''ektov na osnove otsenki ikh effektivnosti [Tekst] /E. P. Morgunov, O. N. Morgunova //Vestnik NII SUVPT: sb. nauch. tr. /Pod obshch. red. prof. N. V. Vasilenko. – Krasnoyarsk, 2003. – Vyp. 14. – S. 222–240.
16. Podinovskii V. V., Gavrilov V. M. Optimizatsiya po posledovatel'no primenyaemym kriteriyam. M.: Sovetskoe radio, 1975. 192 s.
17. Porunov A.N. Otsenka sravnitel'noi effektivnosti gosudarstvennogo menedzhmenta ekologicheskoi bezopasnosti v regione metodom DEA-analiza (na primere Privolzhskogo federal'nogo okruga) Nauchnyi zhurnal NIU ITMO. Seriya «Ekonomika i ekologicheskii menedzhment» № 1, 2016. C.104-111
18. R.L. Kini, Kh. Raif Prinyatie reshenii pri mnogikh kriteriyakh: predpochteniya i zameshcheniya. M.: Radio i svyaz', 1981. 560 s.
19. Fedotov Yu. V. Metod DEA: analiz svertki dannykh. Vysshaya shkola menedzhmenta SPbGU, Rossiiskii zhurnal menedzhmenta, Tom 10, № 2, 2012
20. Fedotov Yu. V. 1992. Otsenka effektivnosti proizvodstvennoi deyatel'nosti firmy s pomoshch'yu proizvodstvennoi funktsii. Vestnik S.-Peterburgskogo un-ta. Seriya Ekonomika (3): 112–118.
21. Shvetsov A.V. Statisticheskii analiz byudzhetnoi obespechennosti sub''ektov Rossiiskoi Federatsii // Rossiiskoe predprinimatel'stvo. — 2010. — № 7-1 (162). — s. 138-142. — URL: http://bgscience.ru/lib/6108/. Data obrashcheniya: 15.11.16
22. Andersen P., Petersen N. A procedure for ranking efficient units in data envelopment analysis, Manage. Sci. 39 (10), 1261-1264, 1993.
23. Bowlin, W.F. (1998) Measuring Performance: An Introduction to Data Envelopment Analysis (DEA). Journal of Cost Analysis 7, 3-27.
24. Charnes A., Cooper W. W., Rhodes E. 1978. Measuring the efficiency of decision making units. European Journal of Operational Research 2 (6): 429–444.
25. Coelli T., Prasada Rao D. S., Battese G. E. 2005. An Introduction to Efficiency and Productivity Analysis. 2nd ed. Springer: N. Y.
26. Cook WD, Harrison J, Imanirad R, Rouse P, Zhu J. Data Envelopment Analysis with Nonhomogeneous DMUs. Oper. Res. Vol. 61, No. 3, May–June 2013, pp. 666–676 ISSN 0030-364X (print) . ISSN 1526-5463 (online)
27. Cook WD, Zhu J (2011) Multiple variable proportionality in DEA. Oper. Res. 59(4):1024–1032.
28. Cooper W. W., Seiford L. M., Zhu J. (eds.). 2004. Handbook on Data Envelopment Analysis. Kluwer-Nijhoff Publishing: BostonDordrecht-Lancaster.
29. Dyson, R.G., Allen, R., Camanho, A.S., Podinovski, V.V., Sarrico, C.S., and Shale, E.A., (2001) Pitfalls and Protocols in DEA, European Journal of Operational Research, 132, 245-259.
30. Hammerschmidt, M. (2006): Effizienzanalyse im Marketing – Ein produktionstheoretisch fundierter Ansatz auf Basis von Frontier Functions. Wiesbaden 2006.
31. Hammerschmidt, M./Falk, T./Bauer, H. H. (2009): Investigating the Brand Productivity Gap. Working paper, Universität Mannheim 2009.
32. Podinovski V.V, Athanassopoulos A. Assessing the relative efficiency of decision making units in DEA models with weight restrictions, J. Oper. Res. Soc. 49, 500-508, 1998.
33. The problem of a missing output in a subset of decision making units. Eur. J. Oper. Res. 220(1):79–84.
34. Wilken, R. (2007): Dynamisches Benchmarking. Ein Verfahren auf Basis der Data Envelopment Analysis. Wiesbaden 2007.