Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Национальная безопасность / nota bene
Правильная ссылка на статью:

Методика оценки важности признаков при анализе выполнения государственных контрактов

Никитин Петр Владимирович

ORCID: 0000-0001-8866-5610

кандидат педагогических наук

доцент, департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации

125993, Россия, г. Москва, Ленинградский проспект, 49

Nikitin Petr Vladimirovich

PhD in Pedagogy

Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation

125993, Russia, Moscow, Leningradsky Prospekt, 49, office building 2

pvnikitin@fa.ru
Другие публикации этого автора
 

 
Долгов Виталий Игоревич

кандидат физико-математических наук

доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации

125319, Россия, г. Москва, ул. Ленинградский Проспект, 49

Dolgov Vitalii Igorevich

PhD in Physics and Mathematics

Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation

125319, Russia, Moscow, Leningradsky Prospekt str., 49

vidolgov@fa.ru
Другие публикации этого автора
 

 
Горохова Римма Ивановна

кандидат педагогических наук

доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации

125167, Россия, г. Москва, Ленинградский проспект, 49

Gorokhova Rimma Ivanovna

PhD in Pedagogy

Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation

125167, Russia, Moscow, Leningradsky Prospekt, 49

rigorokhova@fa.ru
Другие публикации этого автора
 

 
Коровин Дмитрий Игоревич

доктор экономических наук

профессор, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации

125319, Россия, г. Москва, ул. Ленинградский Проспект, 49

Korovin Dmitrii Igorevich

Doctor of Economics

Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation

125319, Russia, Moscow, Leningradsky Prospekt str., 49

dikorovin@fa.ru
Другие публикации этого автора
 

 
Бахтина Елена Юрьевна

кандидат физико-математических наук

Доцент, Московский автомобильно-дорожный государственный технический университет (МАДИ)

125319, Россия, г. Москва, Ленинградский проспект, 46

Bakhtina Elena Yur'evna

PhD in Physics and Mathematics

Associate Professor, Moscow Automobile and Road Engineering State Technical University (MADI)

125319, Russia, Moscow, Leningradsky Prospekt, 46

elbakh@gmail.com
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0668.2023.4.44013

EDN:

WKMAFQ

Дата направления статьи в редакцию:

13-09-2023


Дата публикации:

16-10-2023


Аннотация: Предметом исследования статьи является оценка рисков выполнения государственных контрактов. Объектом исследования является процесс анализа и оценки выполнения государственных контрактов. Исследование направлено на разработку методики, определяющей важность и значимость признаков, влияющих на риск невыполнения государственных контрактов. Применялись методы исследования: анализ данных, для обнаружения связей и зависимостей между различными признаками и риском невыполнения государственных контрактов; статистический анализ, для получения оценки влияния каждого признака на риск невыполнения контрактов и ранжирования их по степени важности; машинное обучение, для прогнозирования риска невыполнения государственных контрактов; экспертные оценки, для учета контекстуальных факторов и особенностей, их влияния на важность признаков. Основными выводами проведенного исследования являются представленные методики оценки важности признаков при анализе выполнения государственных контрактов, путем использования данных из различных источников, включая реестр государственных закупок единой информационной системы (ЕИС), реестр недобросовестных поставщиков (РНП) ЕИС и информационную систему СПАРК. Авторам удалось достичь высокой точности предсказаний (более 97%) и осуществить анализ наиболее важных и значимых признаков. Научная новизна заключается в том, что полученные результаты позволяют выявить и проанализировать факторы из трех информационных систем, оказывающие влияние на риски невыполнения государственных контрактов. Таким образом, данное исследование является ценным и важным в своей области, что способствует разработке более эффективных методов управления рисками и повышению эффективности реализации государственных контрактов. Полученные результаты позволяют выделить факторы, оказывающие наибольшее влияние на риски невыполнения контрактов, что делает исследование ценным и важным в данной области.


Ключевые слова:

государственные контракты, исполнение контракта, искусственный интеллект, машинное обучение, важность признаков, классификация, оценка рисков, анализ признаков, метод опорных векторов, метод SHAP

Abstract: The subject of the research is assessing the risks of performing government contracts. The object of the study is the process of analysis and evaluation of the implementation of government contracts. The study is aimed at developing a methodology that determines the importance and significance of signs that influence the risk of non-fulfillment of government contracts. Research methods were used: data analysis to detect connections and dependencies between various characteristics and the risk of non-fulfillment of government contracts; statistical analysis to obtain an assessment of the impact of each characteristic on the risk of non-fulfillment of contracts and ranking them in order of importance; machine learning to predict the risk of non-fulfillment of government contracts; expert assessments to take into account contextual factors and features, their impact on the importance of features. The main conclusions of the study are the presented methods for assessing the importance of features when analyzing the implementation of government contracts, by using data from various sources, including the register of public procurement of the unified information system (UIS), the register of unscrupulous suppliers (RNP) of the EIS and the SPARK information system. The authors managed to achieve high prediction accuracy (more than 97%) and analyze the most important and significant features. The scientific novelty lies in the fact that the results obtained make it possible to identify and analyze factors from three information systems that influence the risks of non-fulfillment of government contracts. Thus, this study is valuable and important in its field, which contributes to the development of more effective risk management methods and increased efficiency in the implementation of government contracts. The results obtained allow us to identify the factors that have the greatest impact on the risks of non-fulfillment of contracts, which makes the study valuable and important in this area.


Keywords:

government contracts, contract execution, artificial intelligence, machine learning, the importance of signs, classification, risk assessment, feature analysis, the method of support vectors, the SHAP method

Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финансовому университету на 2023 год

Введение

При анализе выполнения государственных контрактов важно определить, какие признаки наиболее существенно влияют на успешность выполнения контрактов. Анализ признаков позволяет также выявить факторы, которые могут свидетельствовать о повышенном риске неуспешного выполнения контрактов. Знание этих факторов помогает государственным организациям и заинтересованным сторонам принимать соответствующие меры для управления рисками, например, включая дополнительные условия в контракты или внедрение мониторинговых и контролирующих механизмов.

Кроме того, оценка признаков позволяет устранить ненужные или малозначимые переменные, которые могут вносить шум или искажать результаты прогнозирования. Это может улучшить качество модели и увеличить ее точность.

Таким образом, оценка и определение важности признаков при анализе выполнения государственных контрактов имеет важное значение с экономической точки зрения, поскольку помогает управлять рисками, оптимизировать расходы, улучшать качество прогнозов и обеспечивать объяснимость процесса принятия решений.

В исследованиях отечественных и зарубежных ученых описаны различные методики повышения контроля в сфере закупок.

В статье М. Ю. Алейниковой, Д. А. Голованова рассмотрены вопросы различных видов внутреннего контроля организации и проведен анализ существующей модели системы контроля в организациях бюджетной сферы Российской Федерации. Авторы проанализировали риски возникновения правонарушений в сфере закупок и разработали модели, позволяющие достичь усилению контрольных процедур и как, следствие, «своевременное выявление и предотвращение нарушений контрактного законодательства» [1].

Вопросы изучения различных рисков в сфере закупок и заключении контрактов являются очень важными для различных сфер экономики. Особое место занимают особенности при выборе поставщика, при том, что поставщик определяется на конкурсной основе. При выборе поставщика важным является анализ не только финансовой устойчивости поставщика и его репутации, но и качество оказываемых им услуг, товаров, надежность поставок. Исследование данных вопросов проведено в работе М. М. Золотухиной и Н.А. Половниковой, в которой «описываются возможные последствия неправильного выбора и предлагаются рекомендации по проведению анализа и оценки потенциальных поставщиков» [2].

Риски выполнения контрактов обсуждаются в самых различных сферах, поскольку закупки производятся во всех отраслях. Сфера строительства охватывает практически все направления промышленности и экономики. Строительная сфера и все мероприятия по контрактам «сопряжена с хозяйственными, правовыми и экономическими рисками, влияющими на ход и сроки выполнения проекта, объем и стоимость работ, цену контракта, показатели доходности подрядной организации», анализ рисков строительных контрактов, заключенных с муниципальным заказчиком рассмотрен в статье Ю. Б. Гендлина [3].

Развивающаяся активно сфера информационных технологий представлена очень значительно на рынке государственных закупок. Авторы Ю. В. Немцева и О. Б. Миронец в своем исследовании провели анализ развития рынка товаров и услуг предлагаемых и запрашиваемых в отрасли информационных технологий. Рост объемов рынка требует от участников процесса закупок углубленного исследования рисков, возникающих в процессе взаимодействия участников рынка B2G. Несмотря на то, что на законодательном уровне утверждены критерии для выбора исполнителей контрактов, тем не менее важным становится процесс управления рисками в ИТ отрасли. Авторы провели в своем исследовании классификацию видов рисков участников государственных закупок, определили методы оценки уровня рисков. Наиболее значимыми в статье являются, значимые с точки зрения менеджмента, предложенные подходы и методы управления рисками [4]. Автоматизировать процесс управления рисками выполнения контрактов предложена в исследовании ученых Финансового университета [5].

Анализ причин невыполнения и расторжения контрактов, а также эффективности взаимодействия между заказчиком и поставщиком рассмотрено в статье А.Я. Геллера [6]. Автор указывает на зависимость между отсутствием со стороны заказчика механизмов и законодательных актов, которые бы смогли решить проблему невыполнения контракта и позволили бы учесть воздействия не зависящих от участников процесса по контракту факторов внешней среды. Это позволило бы справедливо распределить риски неисполнения контракта между заказчиком и исполнителем.

Попытка учесть затраты и риски нарушения договора в российском минерально-сырьевом комплексе и необходимость применения механизма их страхования рассматривается в статье С. М. Лавлинского, А.А. Панина, А.В. Плясунова. Авторы используют для получения результатов теоретико-игровую модель Штакельберга, которая формулируется как двухуровневая задача математического программирования. Результаты исследования представлены в виде эффективных алгоритмов решения на основе метаэвристик, которые позволяют на практике изучать на реальных данных свойств равновесия по Штакельбергу, определяющих конструкцию механизма формирования экономической политики, отвечающей интересам общества. [7]

Исследование анализа причин расторжения контрактов и обоснование предложений по минимизации рисков расторжения для закупщиков и исполнителей контрактов с использованием методов статистического, ретроспективного анализа, сравнительного анализа, элементов прогнозирования рассмотрены в статье Д. А. Созаевой и К.В. Гончар. Подтверждение результатов получено на основе расчетов, выполненных с помощью системы разработанной на языке Python. Исследование подтверждает необходимость изучения различных плохо формализуемых факторов и причин расторжения контрактов. «В результате проведенного исследования были получены следующие выводы: вероятность расторжения государственных и муниципальных контрактов, заключенных по итогам госзакупок, не зависит напрямую от таких факторов, как экономия на торгах, конкуренция на торгах, размер компании участника (малый бизнес), а также отрасль, в рамках которой проводится закупка». [8]

Особое место в системе закупок занимает государственный оборонный заказ, который проводится в соответствии с Федеральным законом «О государственном оборонном заказе» от 29.12.2012 г. №275-ФЗ. В статье Е. В. Черняева и В. А. Хайтбаева рассмотрены «различные подходы к оценке факторов рисков в системе программно-целевого планирования государственного оборонного заказа, а также обоснована необходимость применения вероятностных методов оценки рисков выполнения контрактов государственного оборонного заказа на базе кооперации, построенных с применением иерархических моделей» [9].

Отметим, что анализ рисков выполнения государственных контрактов актуален и широко освящен и в исследованиях зарубежных ученых.

Так в статье [10] исследуется влияние различных факторов на успех подрядчиков при предоставлении тендеров на строительные проекты в Северно-Центральной части Нигерии. Авторы статьи провели исследование, чтобы выяснить, какие факторы могут положительно или отрицательно влиять на результаты тендерных конкурсов в строительной отрасли этого региона. Для этого был использован аналитический подход, основанный на анкетировании и интервьюировании представителей подрядчиков, уже имеющих опыт предоставления тендеров. В ходе исследования авторы выявили несколько факторов, которые оказывают влияние на успех подрядчиков при предоставлении тендеров. Одним из таких факторов является опыт предоставления тендеров, поскольку подрядчики с большим опытом могут быть более успешными в привлечении клиентов и предоставлении предложений. Они также обнаружили, что репутация подрядчика имеет большое значение, поскольку клиенты склонны выбирать подрядчиков с хорошей репутацией и успешным прошлым опытом выполнения проектов. Другим фактором, выявленным в статье, является финансовая устойчивость подрядчиков. Авторы указывают на то, что подрядчики с сильными финансовыми показателями имеют больше возможностей участвовать в конкурсах и выигрывать тендеры.

Lu S. и Wang H. представляют исследование, которое раскрывает, как политические связи используют недостатки в институтах государственных закупок в Китае [11]. Статья подчеркивает, что политические связи могут облегчить доступ к информации о государственных тендерах и предоставить преимущества в получении контрактов. Например, подрядчики с политическими связями могут иметь доступ к информации о грядущих тендерах и помощь в составлении конкурентоспособных предложений. Такие связи также могут помочь исключить конкурентов из процесса рассмотрения тендеров через использование влияния на решения персонала, отвечающего за выдачу контрактов. Данное исследование может иметь важное значение для улучшения системы государственных закупок и повышения прозрачности и справедливости в этой области.

Исследование, представленное в статье [12], позволяет рассмотреть анализ вызовов в области размещения заказов для проектов в области строительства в Ираке. Авторы также рассматривают факторы, влияющие на эффективность процесса размещения заказов, и предлагают некоторые рекомендации для улучшения этого процесса. Один из главных вызовов, выявленных в статье, связан с коррупцией и отсутствием прозрачности в системе размещения заказов для строительных проектов в Ираке. Авторы указывают на то, что многие компании сталкиваются с проблемами, связанными с подкупом и лоббированием при попытке получить государственные контракты. Это не только создает неравные условия для различных участников, но и приводит к неправильному использованию государственных средств и низкому качеству строительных проектов.

Duguay R., Rauter T., и Samuels D. исследует влияние открытых данных на государственное закупочное дело [13]. Авторы основываются на проведенном исследовании, чтобы оценить, как открытые данные влияют на различные аспекты государственного закупочного дела. Они рассматривают преимущества и вызовы, связанные с использованием открытых данных в процессе государственных закупок, а также их влияние на эффективность, прозрачность и конкуренцию в этой области. В статье подчеркивается, что открытые данные могут улучшить доступность информации о государственных закупках и сделать ее более понятной и доступной для всех заинтересованных сторон. Данное исследование может быть ценным ресурсом для разработчиков политик и практиков, занимающихся государственными закупками, при оценке и внедрении открытых данных в этой области.

Nani D. A. и Ali S. исследуют различные аспекты, такие как организация закупочного процесса, технологическое обеспечение, правовая среда и культура работы [14]. Они провели эмпирическое исследование среди различных индонезийских местных правительств для определения факторов, влияющих на эффективность систем электронной закупки. В результате исследования авторы выявили несколько ключевых факторов, которые существенно влияют на эффективность электронных систем закупок в индонезийских местных правительствах. Один из главных факторов – это организационная структура и внутренние процессы, включая совместное управление закупками и сотрудничество между различными заинтересованными сторонами. Технологическое обеспечение также стало фактором, влияющим на эффективность систем электронной закупки. Авторы обнаружили, что современные технологии, такие как облачные вычисления и мобильные приложения, существенно повышают эффективность процесса закупок. Правовая среда также играет важную роль в эффективности систем электронной закупки. Культура работы и принятие изменений также существенны для успешной реализации электронных систем закупок. Авторы обнаружили, что организации, где существует открытая и инновационная культура работы, имеют больше шансов успешно внедрить и использовать электронные системы закупок.

Анализ вышеописанных исследований подтверждает актуальность исследования оценки риска выполнения государственных контрактов. Однако, следует заметить, что каждый из авторов исследует определенные признаки, которые влияют на выполнения государственных контрактов. Из них можно выделить следующие основные риски:

1. Финансовые риски, которые можно оценить как финансовые показатели контрагента, наличие задолженностей перед поставщиками и работниками, способность выполнять финансовые обязательства.

2. Опыт и квалификация контрагента. Важно проанализировать опыт контрагента в реализации подобных проектов, наличие необходимых квалификаций и сертификаций, а также его репутация на рынке.

3. Технические риски. Важно оценить состояние технической базы контрагента, наличие необходимого оборудования, технологических процессов и квалифицированных сотрудников.

4. Юридические риски, где необходимо изучить возможные юридические проблемы, связанные с контрактом, особенности законодательства, возможность возникновения споров и их последствия.

То есть, оценка риска выполнения государственных контрактов должна быть комплексной и учитывать все вышеперечисленные факторы, чтобы снизить вероятность возникновения проблем и убедиться в успешной реализации проекта. При этом очень важно понимать, какой признак может сильнее повлиять на выполнения контракта в той или иной сфере. Следовательно, необходима методика, позволяющая оценить важность признаков при анализе выполнения государственных контрактов. В этом и есть основная новизна данного исследования.

Сбор данных для исследования

Отметим, что анализ научной литературы позволил выделить наиболее важные аспекты при оценке выполнения государственных контрактов. К ним можно отнести: финансовые показатели контрагента; его опыт и квалификация; техническая база и юридическая репутация. Исходя из этого, для дальнейшего анализа был собран набор данных из разнообразных источников:

1. Реестра государственных закупок Единой информационной системы (ЕИС) (https://zakupki.gov.ru/).

2. Реестра недобросовестных поставщиков (РНП) ЕИС (https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html).

3. Информационной системы СПАРК (https://spark-interfax.ru/).

Каждый из указанных источников, РНП, СПАРК и ЕИС, предоставил таблицу, содержащую глубоко детализированную информацию по каждому отдельному элементу контракта. Эти данные были тщательно собраны и объединены в единую таблицу для удобства анализа и обработки.

Так из ЕИС были получены следующие признаки:

• Номер реестровой записи контракта

• Заказчик: наименование

• Заказчик: ИНН

• Заказчик: КПП

• Уровень бюджета

• Источник финансирования контракта: наименование бюджета

• Источник финансирования контракта: наименование/вид внебюджетных средств

• Способ размещения заказа

• Номер извещения о проведении торгов

• Дата подведения результатов определения поставщика (подрядчика, исполнителя)

• Реквизиты документа, подтверждающего основание заключения контракта

• Контракт: дата Контракт: номер Предмет контракта

• Цена контракта

• Код бюджетной классификации

• КОСГУ

• КВР

• Идентификационный код закупки (ИКЗ)

• Объект закупки: наименование товаров, работ, услуг

• Объект закупки: код позиции

• Объект закупки: цена за единицу, рублей

• Объект закупки: количество поставленных товаров, выполненных работ, оказанных услуг

• Объект закупки: сумма, рублей

• Информация о поставщиках (исполнителях, подрядчиках) по контракту: наименование юридического лица (ф.и.о. физического лица)

• Информация о поставщиках (исполнителях, подрядчиках) по контракту: ИНН

• Информация о поставщиках (исполнителях, подрядчиках) по контракту: КПП

• Дата последнего изменения записи

• Дата исполнения контракта: по контракту

• Статус

• Причина расторжения

Данные из ЕИС были последовательно обогащены дополнительными признаками из двух источников:

- Реестр недобросовестных поставщиков;

- продукты СПАРК Интерфакс.

Обогащение производилось в обоих случая по ключевому полю – ИНН поставщика.

Указанные ИНН были применены в сервисе СПАРК в качестве аргумента для выгрузки данных. Вначале в СПАРК был загружен список уникальных ИНН, на основе которой была создана выборка.

Некоторое количество ИНН (несколько сотен) не было найдено в базе СПАРК, поэтому контракты с заданными ИНН поставщиков были в дальнейшем удалены из анализа.

Далее на основе загруженных в СПАРК выборок были сформированы и выгружены пользовательские аналитические отчеты по всем компаниям-поставщикам. Всего было выгружено 124 признака. Не будем перечислять все, отметим лишь ряд, которые отражают финансовые показатели контрагента. В данном случае это:

· наименование;

· регистрационный номер;

· руководитель – ИНН;

· возраст компании, лет;

· совладельцы, приоритетный;

· ранее использованные ИНН;

· кредитный лимит, RUB;

· сумма незавершенных исков в роли ответчика, RUB;

· сумма исполнительных производств;

· нематериальные активы, RUB;

· основные средства , RUB;

· доходные вложения в материальные ценности, RUB;

· долгосрочные финансовые вложения, RUB;

· отложенные налоговые активы, RUB;

· прочие внеоборотные активы, RUB;

· внеоборотные активы, RUB;

· запасы, RUB;

· чистые активы, RUB;

· НДС по приобретенным ценностям , RUB;

· дебиторская задолженность, RUB;

· краткосрочные финансовые вложения, RUB;

· долгосрочные обязательства, RUB;

· заёмные средства (краткосрочные), RUB;

· кредиторская задолженность, RUB;

· собственный оборотный капитал, RUB;

· собственный капитал, RUB;

· совокупный долг, RUB;

· выручка, RUB;

· валовая прибыль (убыток), RUB;

· чистая прибыль (убыток), RUB;

· рентабельность прибыли до налогообложения и процентов - (EBITM), %;

· рентабельность активов (ROA), %;

· рентабельность капитала (ROE), %;

· коэффициент быстрой ликвидности, %;

· коэффициент абсолютной ликвидности, %

· и другие.

Так же в набор данных включили сведения из Реестра недобросовестных поставщиков.

В результате работы парсера данных удалось собрать следующие данные:

• ИНН (аналог ИНН) недобросовестного поставщика в РНП

• Количество записей в РНП по поставщику за всё время

• Дата первого включения поставщика в РНП

• Дата последнего исключения поставщика из РНП

• Статус поставщика

• Тип поставщика

• Дата последнего включения в РНП

После выгрузки данных, был разработан ряд производных признаков, которые могут позволить лучше оценить динамику поведения конкретного поставщика:

• Количество записей в РНП в 2018 году

• Количество записей в РНП в 2019 году

• Количество записей в РНП в 2020 году

• Количество записей в РНП в 2021 году

• Количество записей в РНП в 2022 году

• Количество записей в РНП в 2023 году

• Количество записей по основанию: Расторжение договора

• Количество записей по основанию: Расторжение договора в случае одностороннего отказа поставщика

• Количество записей по основанию: Расторжение договора по решению суда

• Количество записей по основанию: Уклонение единственного участника от заключения договора

• Количество записей по основанию: Уклонение победителя от заключения договора

• Количество записей по основанию: Уклонение участника после победителя от заключения договора

• Примерная дата исключения из РНП

В процессе обработки данных была создана обширная таблица размером 83834 на 184.

Оценка важности признаков

Полученный набор данных взят за основу построения модели для решения задачи бинарной классификации: оценки риска невыполнения контракта в срок. В результате применения методов машинного обучения для данной задачи были получены следующие результаты (таблица 1).

Таблица 1. Алгоритмы и метрики задачи оценки невыполнения контракта

Модель

Точность

Вероятности рисков

Логистическая регрессия

97,01%

Либо имеют очень высокие значения, либо очень низкие

Дерево решений

97,89%

Только однозначные «да» и «нет»

Метод опорных векторов

97,88%

Распределены по всему интервалу от 0 до 1.

За основу моделирования задачи оценки невыполнения контракта был взят метод опорных векторов (SVM). Метрика точности на тестовых данных достигает значения 97,88%, что чуть меньше, чем у дерева решений, однако такой подход позволяет более гибко оценивать риски. Распределение вероятностей рисков для SVM представлено на рисунке 1.

Изображение выглядит как текст, снимок экрана, диаграмма, График

Автоматически созданное описание

Рисунок 1. Распределение вероятностей рисков контракта по методу опорных векторов

Анализ представленной гистограммы показывает, что вероятности рисков по контрактам не бимодальны по границам и в общем случае распределены неравномерно. При этом высокая доля контрактов классифицируется, как «Контракт прекращен» с вероятностью близкой к 0,5.

Стоит отметить, что эти результаты не являются единственными критериями оценки качества работы модели. Важной составляющей в оценке эффективности модели является ее интерпретируемость, то есть возможность понять, на основании каких данных и каким образом модель принимает свои решения. Это особенно актуально при работе с большими объемами данных, когда необходимо определить, какие именно признаки оказывают наибольшее влияние на принятие решения моделью.

Для анализа вклада каждого из признаков в принятие решений моделью использовался метод SHAP [15]. Этот метод основывается на принципах теории игр и позволяет проводить анализ индивидуального вклада каждого признака с использованием статистических методов. Такой подход позволяет не только оценить эффективность работы модели, но и понять, какие именно параметры оказывают наибольшее влияние на ее решения. Это важно для дальнейшего улучшения модели и уточнения ее работы, а также для более глубокого понимания процессов, которые происходят в данных.

На рисунке 2 представлен графический анализ влияния двадцати ключевых характеристик на итоговое решение модели. Каждый из признаков окрашен в определенный цвет в зависимости от его величины. Синий цвет обозначает минимальное значение признака, а красный – максимальное. Горизонтальная ось демонстрирует вклад каждого признака в средний результат.

Рисунок 2. Графический анализ влияния двадцати ключевых характеристик

Некоторые характеристики, такие как заемные средства, оборачиваемость задолженности, себестоимость продаж и дата подведения результатов, распределены практически равномерно и окрашены в один цвет. Это указывает на то, что эти характеристики не оказывают существенного влияния на исход закупки. Они присутствуют как в успешно завершенных, так и в прерванных контрактах, а однородность их цветовой маркировки свидетельствует о том, что они не играют решающей роли в определении исхода.

Однако другие признаки, такие как дата регистрации, запасы и количество заполненных записей, отображаются на диаграмме различными цветами. Это говорит о том, что эти характеристики имеют значимое влияние на прогноз модели. Например, увеличение запасов ведет к положительному смещению прогноза, а их уменьшение – к отрицательному. В случае с датой регистрации и количеством заполненных записей наблюдается обратная зависимость. Так, чем раньше была зарегистрирована компания и чем больше записей она заполнила, тем выше вероятность успешного завершения контракта. Это может быть связано с тем, что более старые и активные компании обычно имеют больше опыта и ресурсов для выполнения контрактов.

Асимметричное распределение большинства остальных признаков указывает на то, что они вносят существенный вклад в прогнозирование исхода. Например, признак «Всего предоставлено единиц» чаще всего снижал ожидания, в то время как признаки «Сумма незавершенных исков» и «Сводный индикатор» наоборот увеличивали их. Серый цвет этих признаков на диаграмме указывает на то, что они являются категориальными и не могут быть преобразованы в количественные значения. Интерпретация таких параметров основывается на форме их распределения.

Параметры «Дата исполнения контракта» и «Дата контракта» являются важными элементами для прогнозирования модели. Они обладают неоднородной формой и цветом, что указывает на отсутствие линейной зависимости между значением параметра и его вкладом в прогноз. Вместо того чтобы иметь прямую корреляцию, эти параметры функционируют посредством кусочной функции, которая дает различные результаты на разных промежутках.

На рисунке 3 можно увидеть четкое разделение на периоды, каждый из которых имеет свою интерпретацию. Горизонтальные линии указывают на то, что множество контрактов выбирали один и тот же период в качестве даты завершения. Это может быть связано с определенными сезонными факторами или стандартными сроками исполнения контрактов. Диагональные линии говорят о том, что контракты планируют выполнить через фиксированный промежуток времени после заключения. Это может быть связано с определенными требованиями к исполнению контрактов или условиями поставки товаров или услуг.

Рисунок 3. Вероятность исполнения в зависимости от даты заключения контракта с дифференцировкой по дате исполнения

На рисунке 4 представлен положительный исход, где большинство факторов указывают в положительную сторону. Однако количество записей и общая стоимость имеют отрицательное влияние. Это позволяет сделать вывод о том, что большой объем и высокая стоимость покупки уменьшают шансы на ее успешное выполнение.

Рисунок 4. Анализ частных случаев предсказания модели

С другой стороны, рисунок 5 представляет пример с отрицательным решением, где большинство факторов уменьшают вероятность успешного исхода. Только низкий риск компании и высокий объем выручки и активов положительно влияют на исход, но их вклад не пропорционален влиянию других факторов, таких как количество незаполненных записей в составе госзакупки. Это подчеркивает сложность прогнозирования исходов на основе множества факторов и важность учета всех значимых параметров.

Рисунок 5. Анализ частных случаев предсказания модели

На основании проведенного анализа можно сформулировать следующие выводы:

1. Ряд характеристик, включая заемные средства, оборачиваемость задолженности, себестоимость продаж и дату подведения результатов, не оказывают значимого воздействия на конечное решение модели, не играя ключевой роли в определении исхода закупки.

2. В то время как некоторые признаки, такие как дата регистрации, запасы и количество заполненных записей, значительно влияют на прогнозируемый исход. Их изменения могут приводить к позитивному или негативному смещению прогноза.

3. Показатели «Общее количество предоставленных единиц», «Сумма незавершенных исков» и «Сводный индикатор» дают значимый вклад в прогнозирование исхода. Они представляют собой категориальные признаки и не могут быть конвертированы в количественные значения.

4. Параметры, такие как «Дата исполнения контракта» и «Дата контракта», играют важную роль в прогнозировании исхода, функционируя через кусочную функцию, которая дает различные результаты на разных промежутках.

5. Время исполнения контракта может быть связано с сезонными факторами или стандартными сроками исполнения контрактов, а также с определенными требованиями к исполнению контрактов или условиями поставки товаров или услуг.

6. Большой объем и высокая стоимость покупки могут снижать вероятность успешного выполнения контракта.

7. Прогнозирование исходов на основе множества факторов представляет собой сложную задачу, требующую учета всех значимых параметров.

Заключение

В результате, созданная модель машинного обучения демонстрирует эффективность в прогнозировании исходов госзакупок, используя разнообразные параметры. Важное значение имеют такие параметры, как дата регистрации, запасы и количество заполненных записей. Категориальные признаки, а также сроки исполнения контракта и дата его заключения оказываются важными для прогнозирования. Следует отметить, что большой объем и высокая стоимость покупки могут уменьшать вероятность успешного выполнения контракта. Несмотря на сложность задачи прогнозирования исходов госзакупок, которая требует учета множества факторов, разработанная модель машинного обучения показывает хорошие результаты. Использование такой модели может стать инструментом для оптимизации процесса госзакупок, повышения его прозрачности и эффективности, а также для предотвращения потенциальных рисков и проблем.

Библиография
1. Алейникова М. Ю., Голованов Д. А. Модели совершенствования системы внутреннего контроля осуществления государственных закупок в Российской Федерации // Управленческий учет. 2022. №. 7. С. 12-19. doi:10.25806/uu7202212-19.
2. Золотухина М. М., Половникова Н.А. Риски при выборе поставщиков и заключении контрактов // Экономика и бизнес: теория и практика. 2023. №. 8 (102). С. 86-90.
3. Гендлина Ю. Б. и др. Риски строительных контрактов, заключенных с муниципальным заказчиком // Управление и экономика народного хозяйства России. 2022. С. 113-120.
4. Немцева Ю. В., Миронец О. Б. Управление рисками компаний отрасли информационных технологий на рынке b2g // Управленческий учет. 2022. №. 12. С. 100-109.
5. Корчагин С.А., Догадина Е.П., Мелентьев В.В., Никитин П.В., Сердечный Д.В. Система поддержки принятия решений по выдаче банковских гарантий на основе прогнозирования исполнения контрактов с использованием методов машинного обучения и технологий парсинга // Современные наукоемкие технологии. 2023. № 7. С. 41-47.
6. Геллер А. Я. Анализ причин расторжения контрактов в системе государственных и муниципальных закупок Российской Федерации // Вестник университета. 2022. №. 5. С. 5-12.
7. Лавлинский С. М., Панин А. А., Плясунов А. В. Модель формирования экономической политики с учётом трансакционных издержек и страхования рисков разрыва контрактов // Дискретный анализ и исследование операций. 2022. Т. 29. №. 3. С. 45-63. doi:10.33048/daio.2022.29.738.
8. Созаева Д. А., Гончар К. В. Исследование рисков расторжения контрактов, заключенных по результатам госзакупок // Проблемы анализа риска. 2022. Т. 19. №. 3. С. 74-85.
9. Черняев Е. В., Хайтбаев В. А. Вероятностные методы оценки рисков в системе программно-целевого планирования государственного оборонного заказа с применением иерархических моделей // Прикладные экономические исследования. 2022. №. 3. С. 24-29.
10. Muhammed A. O. et al. Assessment of factors affecting contractors tendering success for construction projects in North-Central Nigeria //International Journal of Real Estate Studies, 2022. Т. 16. №. 1. P. 87-99, doi: https://doi.org/10.11113/intrest.v16n1.155
11. Lu S., Wang H. How political connections exploit loopholes in procurement institutions for government contracts: Evidence from China // Governance, 2022, doi: DOI:10.1080/14719037.2013.770056
12. Hamza S. A., Rasheed S., Hussein A. Procurement challenges analysis of Iraqi construction projects // Journal of the Mechanical Behavior of Materials, 2022. Т. 31. №. 1. P. 112-117. doi: 10.1515/jmbm-2022-0012
13. Duguay R., Rauter T., Samuels D. The impact of open data on public procurement // Journal of Accounting Research, 2023. Т. 61. №. 4. P. 1159-1224.
14. Nani D. A., Ali S. Determinants of Effective E-Procurement System: Empirical Evidence from Indonesian Local Governments // Jurnal Dinamika Akuntansi Dan Bisnis, 2020. Т. 7. №. 1. P. 33-50. doi:10.24815/jdab.v7i1.15671
15. Lundberg, S. M., & Lee S. I. A unified approach to interpreting model predictions // Advances in neural information processing systems, 2017. P. 30, doi:10.48550/arXiv.1705.07874.
References
1. Aleynikova, M. Yu. & Golovanov, D. A. (2022). Models for improving the system of internal control of public procurement in the Russian Federation. Managerial accounting. 7, 12-19. doi:10.25806/uu7202212-19
2. Zolotukhina, M. M., & Polovnikova, N.A. (2023). Risks in choosing suppliers and concluding contracts. Economics and Business: Theory and practice, 8(102), 86-90.
3. Gendlina, Yu. B. et al. (2022). Risks of construction contracts concluded with a municipal customer. Management and economics of the national economy of Russia, 113-120.
4. Nemtseva, Yu. V., & Mironets, O. B. (2022). Risk management of information technology companies in the B2G market. Managerial accounting, 12, 100-109.
5. Korchagin, S.A., et al. (2023) Decision support system for issuing bank guarantees based on contract execution forecasting using machine learning methods and parsing technologies. Modern science-intensive technologies, 7, 41-47.
6. Geller, A. Ya. (2022). Analysis of the reasons for termination of contracts in the system of state and municipal procurement of the Russian Federation. Bulletin of the University, 5, 5-12.
7. Lavlinsky, S. M., Panin, A. A., & Plyasunov, A.V. (2022). The model of economic policy formation taking into account transaction costs and insurance of contract break risks. Discrete analysis and operations research, 29(3), 45-63. doi:10.33048/Dayo.2022.29.738
8. Sozaeva, D. A., & Gonchar, K. V. (2022). Investigation of the risks of termination of contracts concluded based on the results of public procurement. Problems of risk analysis, 19(3), 74-85.
9. Chernyaev, E. V., & Khaytbaev, V. A. (2022). Probabilistic methods of risk assessment in the system of program-target planning of the state defense order using hierarchical models. Applied Economic research, 3, 24-29.
10. Muhammed, A. O., Muhammed, A. A., Yakubu, H. A., Suleiman, A., & Adam, A. (2022). Assessment of factors affecting contractors tendering success for construction projects in North-Central Nigeria. International Journal of Real Estate Studies, 16(1), 87-99. Retrieved from https://doi.org/10.11113/intrest.v16n1.155
11. Lu, S., & Wang, H. (2022). How political connections exploit loopholes in procurement institutions for government contracts: Evidence from China. Governance. doi:10.1080/14719037.2013.770056
12. Hamza, S. A., Rasheed, S., & Hussein, A. (2022). Procurement challenges analysis of Iraqi construction projects. Journal of the Mechanical Behavior of Materials, 31(1), 112-117. doi:10.1515/jmbm-2022-0012
13. Duguay, R., Rauter, T., & Samuels, D. (2023). The impact of open data on public procurement. Journal of Accounting Research, 61(4), 1159-1224.
14. Nani, D. A., & Ali, S. (2020). Determinants of Effective E-Procurement System: Empirical Evidence from Indonesian Local Governments. Jurnal Dinamika Akuntansi Dan Bisnis, 7(1), 33-50. doi:10.24815/jdab.v7i1.15671
15. Lundberg S. M. & Lee S. I. (2017). A unified approach to the interpretation of model forecasts. Advances in Neural Information processing Systems, 30. doi:10.48550/arXiv.1705.07874

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Предмет исследования. Исходя из названия, статья должна быть посвящена методике оценки важности признаков при анализе выполнения государственных контрактов. Содержание статьи, в целом, соответствует заявленному заголовку.
Методология исследования базируется на использовании классических научных методов (анализ и синтез), так и методов машинного обучения. Автором утверждается, что в процессе обработки данных была создана обширная таблица размером 83834 на 192. Однако в тексте не представлена даже её структура. Непонятно, то именно было получено автором?
Актуальность исследования вопросов, связанных с выполнением государственных контрактов не вызывает сомнения, так как это имеет и тактическое и стратегическое значение, в том числе в контексте обеспечения достижения поставленных Президентом России национальных целей развития Российской Федерации до 2030 года. При этом необходимо отметить, что запрос потенциальной читательской аудитории существует на конкретные практико-ориентированные исследования, содержащие обоснование выявленных проблем и рекомендации по их решению.
Научная новизна в представленных на рецензирование материалах частично присутствует. В частности, результаты оценки вероятности исполнения в зависимости от даты заключения контракта с дифференцировкой по дате исполнения. Представляется, что имеет научную новизну и разработанная автором обширная таблица размером 83834 на 192, но из текста непонятна ни ее структура, ни ее значение. Это необходимо пояснить, чтобы у потенциального читателя не возникало вопросов.
Стиль, структура, содержание. Стиль изложения научный. Структура статьи автором не выстроена, что и стало ключевым фактором хаотичного изложения результатов авторского исследования без последовательных структурных и логических связей. При доработке статьи необходимо обязательно устранить данную проблему. Также с учётом запроса потенциальной читательской аудитории на конкретные практические исследования следует обосновать существующие проблемы выполнения государственных контрактов и пути их решения.
Библиография. Автором сформирован библиографический список из 10 источников, включающих как отечественные, так и одну зарубежную научную публикацию. Автору рекомендуется увеличить обзор источников, особенно вышедших за рубежом. Это позволит значительно усилить качество методологической базы, а также сформировать предпосылки для обоснования научной новизны текста. Более того, будет возможность сформировать какие-либо практические рекомендации, исходя из зарубежного опыта, анализ которого в текущей редакции статьи не представлен.
Апелляция к оппонентам. Несмотря на сформированный библиографический список, какой-либо научной дискуссии по ним не выстроено. Устранение данного замечания позволит также внести позитивный вклад в формирование научной новизны.
Выводы, интерес читательской аудитории. С учётом всего вышесказанного статья требует доработки, после проведения которой может быть решен вопрос о целесообразности опубликования. В текущем виде статья может представлять интерес для читательской аудитории, но учёт замечаний позволит кратно его повысить и увеличить круг заинтересованных лиц.


Результаты процедуры повторного рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Рецензируемая статья посвящена исследованию признаков, влияющих на выполнение государственных контрактов, выявлению наиболее важных из них, оказывающих существенное влияние на результаты прогнозирования успешности исполнения госконтрактов.
Методология исследования базируется на применении методов математического моделирования и машинного обучения, построении модели оценки риска невыполнения госконтрактов в срок с использованием методов логистической регрессии, деревьев решений и опорных векторов.
Актуальность работы авторы справедливо связывают с тем, что оценка и определение важности признаков при анализе выполнения государственных контрактов имеет важное значение с экономической точки зрения, поскольку помогает управлять рисками, оптимизировать расходы, улучшать качество прогнозов и обеспечивать объяснимость процесса принятия решений, что безусловно влияет и на обеспечение национальной безопасности.
Научная новизна работы, по мнению рецензента состоит в разработанной авторами модели машинного обучения, демонстрирующей эффективность прогнозирования исходов госзакупок при использовании разнообразных параметров.
Структурно в статье выделены следующие разделы: Введение, Сбор данных для исследования, Оценка важности признаков, Заключение, Библиография.
К достоинствам публикации следует отнести подробное описание исходных данных для исследования, доступное изложение сути проведенного исследования, использованных приемов преобразования исходной информации в полученные результаты, а также их визуализацию. Текст статьи иллюстрирован таблицей «Алгоритмы и метрики задачи оценки невыполнения контракта» и несколькими рисунками: «Распределение вероятностей рисков контракта по методу опорных векторов», «Графический анализ влияния двадцати ключевых характеристик», «Вероятность исполнения в зависимости от даты заключения контракта с дифференцировкой по дате исполнения», «Анализ частных случаев предсказания модели». По результатам проведенного исследования сформулированы конкретные выводы, включающие семь пунктов, в Заключении отражена классификация признаков по их важности для анализа и прогнозирования успешности выполнения государственных контрактов. Авторы позиционируют практическую значимость полученной модели машинного обучения как разработанный инструмент для оптимизации процесса госзакупок, повышения его прозрачности и эффективности, а также для предотвращения потенциальных рисков и проблем.
Библиографический список включает 15 источников – научные публикации по рассматриваемой теме на русском и английском языках. В тексте публикации имеются адресные отсылки к списку литературы, подтверждающие наличие апелляции к оппонентам.
Из резервов улучшения статьи следует отметить следующие. Во-первых, в публикации не указано, с использованием каких программно-инструментальных средств или платформ машинного обучения проводилась обработка данных. Во-вторых, рисунки 4 и 5 имеют одинаковые наименования, требуется уточнение их названий.
Тема статьи актуальна, материал отражает результаты проведенного авторами исследования, содержит элементы приращения научного знания, соответствует тематике журнала «Национальная безопасность / nota bene», может вызвать интерес у читателей и рекомендуется к публикации с учетом высказанных пожеланий.