Методика оценки важности признаков при анализе выполнения государственных контрактов

Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финансовому университету на 2023 год

Введение

При анализе выполнения государственных контрактов важно определить, какие признаки наиболее существенно влияют на успешность выполнения контрактов. Анализ признаков позволяет также выявить факторы, которые могут свидетельствовать о повышенном риске неуспешного выполнения контрактов. Знание этих факторов помогает государственным организациям и заинтересованным сторонам принимать соответствующие меры для управления рисками, например, включая дополнительные условия в контракты или внедрение мониторинговых и контролирующих механизмов.

Кроме того, оценка признаков позволяет устранить ненужные или малозначимые переменные, которые могут вносить шум или искажать результаты прогнозирования. Это может улучшить качество модели и увеличить ее точность.

Таким образом, оценка и определение важности признаков при анализе выполнения государственных контрактов имеет важное значение с экономической точки зрения, поскольку помогает управлять рисками, оптимизировать расходы, улучшать качество прогнозов и обеспечивать объяснимость процесса принятия решений.

В исследованиях отечественных и зарубежных ученых описаны различные методики повышения контроля в сфере закупок.

В статье М. Ю. Алейниковой, Д. А. Голованова рассмотрены вопросы различных видов внутреннего контроля организации и проведен анализ существующей модели системы контроля в организациях бюджетной сферы Российской Федерации. Авторы проанализировали риски возникновения правонарушений в сфере закупок и разработали модели, позволяющие достичь усилению контрольных процедур и как, следствие, «своевременное выявление и предотвращение нарушений контрактного законодательства» ^[1].

Вопросы изучения различных рисков в сфере закупок и заключении контрактов являются очень важными для различных сфер экономики. Особое место занимают особенности при выборе поставщика, при том, что поставщик определяется на конкурсной основе. При выборе поставщика важным является анализ не только финансовой устойчивости поставщика и его репутации, но и качество оказываемых им услуг, товаров, надежность поставок. Исследование данных вопросов проведено в работе М. М. Золотухиной и Н.А. Половниковой, в которой «описываются возможные последствия неправильного выбора и предлагаются рекомендации по проведению анализа и оценки потенциальных поставщиков» ^[2].

Риски выполнения контрактов обсуждаются в самых различных сферах, поскольку закупки производятся во всех отраслях. Сфера строительства охватывает практически все направления промышленности и экономики. Строительная сфера и все мероприятия по контрактам «сопряжена с хозяйственными, правовыми и экономическими рисками, влияющими на ход и сроки выполнения проекта, объем и стоимость работ, цену контракта, показатели доходности подрядной организации», анализ рисков строительных контрактов, заключенных с муниципальным заказчиком рассмотрен в статье Ю. Б. Гендлина ^[3].

Развивающаяся активно сфера информационных технологий представлена очень значительно на рынке государственных закупок. Авторы Ю. В. Немцева и О. Б. Миронец в своем исследовании провели анализ развития рынка товаров и услуг предлагаемых и запрашиваемых в отрасли информационных технологий. Рост объемов рынка требует от участников процесса закупок углубленного исследования рисков, возникающих в процессе взаимодействия участников рынка B2G. Несмотря на то, что на законодательном уровне утверждены критерии для выбора исполнителей контрактов, тем не менее важным становится процесс управления рисками в ИТ отрасли. Авторы провели в своем исследовании классификацию видов рисков участников государственных закупок, определили методы оценки уровня рисков. Наиболее значимыми в статье являются, значимые с точки зрения менеджмента, предложенные подходы и методы управления рисками ^[4]. Автоматизировать процесс управления рисками выполнения контрактов предложена в исследовании ученых Финансового университета ^[5].

Анализ причин невыполнения и расторжения контрактов, а также эффективности взаимодействия между заказчиком и поставщиком рассмотрено в статье А.Я. Геллера ^[6]. Автор указывает на зависимость между отсутствием со стороны заказчика механизмов и законодательных актов, которые бы смогли решить проблему невыполнения контракта и позволили бы учесть воздействия не зависящих от участников процесса по контракту факторов внешней среды. Это позволило бы справедливо распределить риски неисполнения контракта между заказчиком и исполнителем.

Попытка учесть затраты и риски нарушения договора в российском минерально-сырьевом комплексе и необходимость применения механизма их страхования рассматривается в статье С. М. Лавлинского, А.А. Панина, А.В. Плясунова. Авторы используют для получения результатов теоретико-игровую модель Штакельберга, которая формулируется как двухуровневая задача математического программирования. Результаты исследования представлены в виде эффективных алгоритмов решения на основе метаэвристик, которые позволяют на практике изучать на реальных данных свойств равновесия по Штакельбергу, определяющих конструкцию механизма формирования экономической политики, отвечающей интересам общества. ^[7]

Исследование анализа причин расторжения контрактов и обоснование предложений по минимизации рисков расторжения для закупщиков и исполнителей контрактов с использованием методов статистического, ретроспективного анализа, сравнительного анализа, элементов прогнозирования рассмотрены в статье Д. А. Созаевой и К.В. Гончар. Подтверждение результатов получено на основе расчетов, выполненных с помощью системы разработанной на языке Python. Исследование подтверждает необходимость изучения различных плохо формализуемых факторов и причин расторжения контрактов. «В результате проведенного исследования были получены следующие выводы: вероятность расторжения государственных и муниципальных контрактов, заключенных по итогам госзакупок, не зависит напрямую от таких факторов, как экономия на торгах, конкуренция на торгах, размер компании участника (малый бизнес), а также отрасль, в рамках которой проводится закупка». ^[8]

Особое место в системе закупок занимает государственный оборонный заказ, который проводится в соответствии с Федеральным законом «О государственном оборонном заказе» от 29.12.2012 г. №275-ФЗ. В статье Е. В. Черняева и В. А. Хайтбаева рассмотрены «различные подходы к оценке факторов рисков в системе программно-целевого планирования государственного оборонного заказа, а также обоснована необходимость применения вероятностных методов оценки рисков выполнения контрактов государственного оборонного заказа на базе кооперации, построенных с применением иерархических моделей» ^[9].

Отметим, что анализ рисков выполнения государственных контрактов актуален и широко освящен и в исследованиях зарубежных ученых.

Так в статье ^[10] исследуется влияние различных факторов на успех подрядчиков при предоставлении тендеров на строительные проекты в Северно-Центральной части Нигерии. Авторы статьи провели исследование, чтобы выяснить, какие факторы могут положительно или отрицательно влиять на результаты тендерных конкурсов в строительной отрасли этого региона. Для этого был использован аналитический подход, основанный на анкетировании и интервьюировании представителей подрядчиков, уже имеющих опыт предоставления тендеров. В ходе исследования авторы выявили несколько факторов, которые оказывают влияние на успех подрядчиков при предоставлении тендеров. Одним из таких факторов является опыт предоставления тендеров, поскольку подрядчики с большим опытом могут быть более успешными в привлечении клиентов и предоставлении предложений. Они также обнаружили, что репутация подрядчика имеет большое значение, поскольку клиенты склонны выбирать подрядчиков с хорошей репутацией и успешным прошлым опытом выполнения проектов. Другим фактором, выявленным в статье, является финансовая устойчивость подрядчиков. Авторы указывают на то, что подрядчики с сильными финансовыми показателями имеют больше возможностей участвовать в конкурсах и выигрывать тендеры.

Lu S. и Wang H. представляют исследование, которое раскрывает, как политические связи используют недостатки в институтах государственных закупок в Китае ^[11]. Статья подчеркивает, что политические связи могут облегчить доступ к информации о государственных тендерах и предоставить преимущества в получении контрактов. Например, подрядчики с политическими связями могут иметь доступ к информации о грядущих тендерах и помощь в составлении конкурентоспособных предложений. Такие связи также могут помочь исключить конкурентов из процесса рассмотрения тендеров через использование влияния на решения персонала, отвечающего за выдачу контрактов. Данное исследование может иметь важное значение для улучшения системы государственных закупок и повышения прозрачности и справедливости в этой области.

Исследование, представленное в статье ^[12], позволяет рассмотреть анализ вызовов в области размещения заказов для проектов в области строительства в Ираке. Авторы также рассматривают факторы, влияющие на эффективность процесса размещения заказов, и предлагают некоторые рекомендации для улучшения этого процесса. Один из главных вызовов, выявленных в статье, связан с коррупцией и отсутствием прозрачности в системе размещения заказов для строительных проектов в Ираке. Авторы указывают на то, что многие компании сталкиваются с проблемами, связанными с подкупом и лоббированием при попытке получить государственные контракты. Это не только создает неравные условия для различных участников, но и приводит к неправильному использованию государственных средств и низкому качеству строительных проектов.

Duguay R., Rauter T., и Samuels D. исследует влияние открытых данных на государственное закупочное дело ^[13]. Авторы основываются на проведенном исследовании, чтобы оценить, как открытые данные влияют на различные аспекты государственного закупочного дела. Они рассматривают преимущества и вызовы, связанные с использованием открытых данных в процессе государственных закупок, а также их влияние на эффективность, прозрачность и конкуренцию в этой области. В статье подчеркивается, что открытые данные могут улучшить доступность информации о государственных закупках и сделать ее более понятной и доступной для всех заинтересованных сторон. Данное исследование может быть ценным ресурсом для разработчиков политик и практиков, занимающихся государственными закупками, при оценке и внедрении открытых данных в этой области.

Nani D. A. и Ali S. исследуют различные аспекты, такие как организация закупочного процесса, технологическое обеспечение, правовая среда и культура работы ^[14]. Они провели эмпирическое исследование среди различных индонезийских местных правительств для определения факторов, влияющих на эффективность систем электронной закупки. В результате исследования авторы выявили несколько ключевых факторов, которые существенно влияют на эффективность электронных систем закупок в индонезийских местных правительствах. Один из главных факторов – это организационная структура и внутренние процессы, включая совместное управление закупками и сотрудничество между различными заинтересованными сторонами. Технологическое обеспечение также стало фактором, влияющим на эффективность систем электронной закупки. Авторы обнаружили, что современные технологии, такие как облачные вычисления и мобильные приложения, существенно повышают эффективность процесса закупок. Правовая среда также играет важную роль в эффективности систем электронной закупки. Культура работы и принятие изменений также существенны для успешной реализации электронных систем закупок. Авторы обнаружили, что организации, где существует открытая и инновационная культура работы, имеют больше шансов успешно внедрить и использовать электронные системы закупок.

Анализ вышеописанных исследований подтверждает актуальность исследования оценки риска выполнения государственных контрактов. Однако, следует заметить, что каждый из авторов исследует определенные признаки, которые влияют на выполнения государственных контрактов. Из них можно выделить следующие основные риски:

1. Финансовые риски, которые можно оценить как финансовые показатели контрагента, наличие задолженностей перед поставщиками и работниками, способность выполнять финансовые обязательства.

2. Опыт и квалификация контрагента. Важно проанализировать опыт контрагента в реализации подобных проектов, наличие необходимых квалификаций и сертификаций, а также его репутация на рынке.

3. Технические риски. Важно оценить состояние технической базы контрагента, наличие необходимого оборудования, технологических процессов и квалифицированных сотрудников.

4. Юридические риски, где необходимо изучить возможные юридические проблемы, связанные с контрактом, особенности законодательства, возможность возникновения споров и их последствия.

То есть, оценка риска выполнения государственных контрактов должна быть комплексной и учитывать все вышеперечисленные факторы, чтобы снизить вероятность возникновения проблем и убедиться в успешной реализации проекта. При этом очень важно понимать, какой признак может сильнее повлиять на выполнения контракта в той или иной сфере. Следовательно, необходима методика, позволяющая оценить важность признаков при анализе выполнения государственных контрактов. В этом и есть основная новизна данного исследования.

Сбор данных для исследования

Отметим, что анализ научной литературы позволил выделить наиболее важные аспекты при оценке выполнения государственных контрактов. К ним можно отнести: финансовые показатели контрагента; его опыт и квалификация; техническая база и юридическая репутация. Исходя из этого, для дальнейшего анализа был собран набор данных из разнообразных источников:

1. Реестра государственных закупок Единой информационной системы (ЕИС) (https://zakupki.gov.ru/).

2. Реестра недобросовестных поставщиков (РНП) ЕИС (https://zakupki.gov.ru/epz/dishonestsupplier/search/results.html).

3. Информационной системы СПАРК (https://spark-interfax.ru/).

Каждый из указанных источников, РНП, СПАРК и ЕИС, предоставил таблицу, содержащую глубоко детализированную информацию по каждому отдельному элементу контракта. Эти данные были тщательно собраны и объединены в единую таблицу для удобства анализа и обработки.

Так из ЕИС были получены следующие признаки:

• Номер реестровой записи контракта

• Заказчик: наименование

• Заказчик: ИНН

• Заказчик: КПП

• Уровень бюджета

• Источник финансирования контракта: наименование бюджета

• Источник финансирования контракта: наименование/вид внебюджетных средств

• Способ размещения заказа

• Номер извещения о проведении торгов

• Дата подведения результатов определения поставщика (подрядчика, исполнителя)

• Реквизиты документа, подтверждающего основание заключения контракта

• Контракт: дата Контракт: номер Предмет контракта

• Цена контракта

• Код бюджетной классификации

• КОСГУ

• КВР

• Идентификационный код закупки (ИКЗ)

• Объект закупки: наименование товаров, работ, услуг

• Объект закупки: код позиции

• Объект закупки: цена за единицу, рублей

• Объект закупки: количество поставленных товаров, выполненных работ, оказанных услуг

• Объект закупки: сумма, рублей

• Информация о поставщиках (исполнителях, подрядчиках) по контракту: наименование юридического лица (ф.и.о. физического лица)

• Информация о поставщиках (исполнителях, подрядчиках) по контракту: ИНН

• Информация о поставщиках (исполнителях, подрядчиках) по контракту: КПП

• Дата последнего изменения записи

• Дата исполнения контракта: по контракту

• Статус

• Причина расторжения

Данные из ЕИС были последовательно обогащены дополнительными признаками из двух источников:

- Реестр недобросовестных поставщиков;

- продукты СПАРК Интерфакс.

Обогащение производилось в обоих случая по ключевому полю – ИНН поставщика.

Указанные ИНН были применены в сервисе СПАРК в качестве аргумента для выгрузки данных. Вначале в СПАРК был загружен список уникальных ИНН, на основе которой была создана выборка.

Некоторое количество ИНН (несколько сотен) не было найдено в базе СПАРК, поэтому контракты с заданными ИНН поставщиков были в дальнейшем удалены из анализа.

Далее на основе загруженных в СПАРК выборок были сформированы и выгружены пользовательские аналитические отчеты по всем компаниям-поставщикам. Всего было выгружено 124 признака. Не будем перечислять все, отметим лишь ряд, которые отражают финансовые показатели контрагента. В данном случае это:

· наименование;

· регистрационный номер;

· руководитель – ИНН;

· возраст компании, лет;

· совладельцы, приоритетный;

· ранее использованные ИНН;

· кредитный лимит, RUB;

· сумма незавершенных исков в роли ответчика, RUB;

· сумма исполнительных производств;

· нематериальные активы, RUB;

· основные средства , RUB;

· доходные вложения в материальные ценности, RUB;

· долгосрочные финансовые вложения, RUB;

· отложенные налоговые активы, RUB;

· прочие внеоборотные активы, RUB;

· внеоборотные активы, RUB;

· запасы, RUB;

· чистые активы, RUB;

· НДС по приобретенным ценностям , RUB;

· дебиторская задолженность, RUB;

· краткосрочные финансовые вложения, RUB;

· долгосрочные обязательства, RUB;

· заёмные средства (краткосрочные), RUB;

· кредиторская задолженность, RUB;

· собственный оборотный капитал, RUB;

· собственный капитал, RUB;

· совокупный долг, RUB;

· выручка, RUB;

· валовая прибыль (убыток), RUB;

· чистая прибыль (убыток), RUB;

· рентабельность прибыли до налогообложения и процентов - (EBITM), %;

· рентабельность активов (ROA), %;

· рентабельность капитала (ROE), %;

· коэффициент быстрой ликвидности, %;

· коэффициент абсолютной ликвидности, %

· и другие.

Так же в набор данных включили сведения из Реестра недобросовестных поставщиков.

В результате работы парсера данных удалось собрать следующие данные:

• ИНН (аналог ИНН) недобросовестного поставщика в РНП

• Количество записей в РНП по поставщику за всё время

• Дата первого включения поставщика в РНП

• Дата последнего исключения поставщика из РНП

• Статус поставщика

• Тип поставщика

• Дата последнего включения в РНП

После выгрузки данных, был разработан ряд производных признаков, которые могут позволить лучше оценить динамику поведения конкретного поставщика:

• Количество записей в РНП в 2018 году

• Количество записей в РНП в 2019 году

• Количество записей в РНП в 2020 году

• Количество записей в РНП в 2021 году

• Количество записей в РНП в 2022 году

• Количество записей в РНП в 2023 году

• Количество записей по основанию: Расторжение договора

• Количество записей по основанию: Расторжение договора в случае одностороннего отказа поставщика

• Количество записей по основанию: Расторжение договора по решению суда

• Количество записей по основанию: Уклонение единственного участника от заключения договора

• Количество записей по основанию: Уклонение победителя от заключения договора

• Количество записей по основанию: Уклонение участника после победителя от заключения договора

• Примерная дата исключения из РНП

В процессе обработки данных была создана обширная таблица размером 83834 на 184.

Оценка важности признаков

Полученный набор данных взят за основу построения модели для решения задачи бинарной классификации: оценки риска невыполнения контракта в срок. В результате применения методов машинного обучения для данной задачи были получены следующие результаты (таблица 1).

Таблица 1. Алгоритмы и метрики задачи оценки невыполнения контракта

За основу моделирования задачи оценки невыполнения контракта был взят метод опорных векторов (SVM). Метрика точности на тестовых данных достигает значения 97,88%, что чуть меньше, чем у дерева решений, однако такой подход позволяет более гибко оценивать риски. Распределение вероятностей рисков для SVM представлено на рисунке 1.

Рисунок 1. Распределение вероятностей рисков контракта по методу опорных векторов

Анализ представленной гистограммы показывает, что вероятности рисков по контрактам не бимодальны по границам и в общем случае распределены неравномерно. При этом высокая доля контрактов классифицируется, как «Контракт прекращен» с вероятностью близкой к 0,5.

Стоит отметить, что эти результаты не являются единственными критериями оценки качества работы модели. Важной составляющей в оценке эффективности модели является ее интерпретируемость, то есть возможность понять, на основании каких данных и каким образом модель принимает свои решения. Это особенно актуально при работе с большими объемами данных, когда необходимо определить, какие именно признаки оказывают наибольшее влияние на принятие решения моделью.

Для анализа вклада каждого из признаков в принятие решений моделью использовался метод SHAP ^[15]. Этот метод основывается на принципах теории игр и позволяет проводить анализ индивидуального вклада каждого признака с использованием статистических методов. Такой подход позволяет не только оценить эффективность работы модели, но и понять, какие именно параметры оказывают наибольшее влияние на ее решения. Это важно для дальнейшего улучшения модели и уточнения ее работы, а также для более глубокого понимания процессов, которые происходят в данных.

На рисунке 2 представлен графический анализ влияния двадцати ключевых характеристик на итоговое решение модели. Каждый из признаков окрашен в определенный цвет в зависимости от его величины. Синий цвет обозначает минимальное значение признака, а красный – максимальное. Горизонтальная ось демонстрирует вклад каждого признака в средний результат.

Рисунок 2. Графический анализ влияния двадцати ключевых характеристик

Некоторые характеристики, такие как заемные средства, оборачиваемость задолженности, себестоимость продаж и дата подведения результатов, распределены практически равномерно и окрашены в один цвет. Это указывает на то, что эти характеристики не оказывают существенного влияния на исход закупки. Они присутствуют как в успешно завершенных, так и в прерванных контрактах, а однородность их цветовой маркировки свидетельствует о том, что они не играют решающей роли в определении исхода.

Однако другие признаки, такие как дата регистрации, запасы и количество заполненных записей, отображаются на диаграмме различными цветами. Это говорит о том, что эти характеристики имеют значимое влияние на прогноз модели. Например, увеличение запасов ведет к положительному смещению прогноза, а их уменьшение – к отрицательному. В случае с датой регистрации и количеством заполненных записей наблюдается обратная зависимость. Так, чем раньше была зарегистрирована компания и чем больше записей она заполнила, тем выше вероятность успешного завершения контракта. Это может быть связано с тем, что более старые и активные компании обычно имеют больше опыта и ресурсов для выполнения контрактов.

Асимметричное распределение большинства остальных признаков указывает на то, что они вносят существенный вклад в прогнозирование исхода. Например, признак «Всего предоставлено единиц» чаще всего снижал ожидания, в то время как признаки «Сумма незавершенных исков» и «Сводный индикатор» наоборот увеличивали их. Серый цвет этих признаков на диаграмме указывает на то, что они являются категориальными и не могут быть преобразованы в количественные значения. Интерпретация таких параметров основывается на форме их распределения.

Параметры «Дата исполнения контракта» и «Дата контракта» являются важными элементами для прогнозирования модели. Они обладают неоднородной формой и цветом, что указывает на отсутствие линейной зависимости между значением параметра и его вкладом в прогноз. Вместо того чтобы иметь прямую корреляцию, эти параметры функционируют посредством кусочной функции, которая дает различные результаты на разных промежутках.

На рисунке 3 можно увидеть четкое разделение на периоды, каждый из которых имеет свою интерпретацию. Горизонтальные линии указывают на то, что множество контрактов выбирали один и тот же период в качестве даты завершения. Это может быть связано с определенными сезонными факторами или стандартными сроками исполнения контрактов. Диагональные линии говорят о том, что контракты планируют выполнить через фиксированный промежуток времени после заключения. Это может быть связано с определенными требованиями к исполнению контрактов или условиями поставки товаров или услуг.

Рисунок 3. Вероятность исполнения в зависимости от даты заключения контракта с дифференцировкой по дате исполнения

На рисунке 4 представлен положительный исход, где большинство факторов указывают в положительную сторону. Однако количество записей и общая стоимость имеют отрицательное влияние. Это позволяет сделать вывод о том, что большой объем и высокая стоимость покупки уменьшают шансы на ее успешное выполнение.

Рисунок 4. Анализ частных случаев предсказания модели

С другой стороны, рисунок 5 представляет пример с отрицательным решением, где большинство факторов уменьшают вероятность успешного исхода. Только низкий риск компании и высокий объем выручки и активов положительно влияют на исход, но их вклад не пропорционален влиянию других факторов, таких как количество незаполненных записей в составе госзакупки. Это подчеркивает сложность прогнозирования исходов на основе множества факторов и важность учета всех значимых параметров.

Рисунок 5. Анализ частных случаев предсказания модели

На основании проведенного анализа можно сформулировать следующие выводы:

1. Ряд характеристик, включая заемные средства, оборачиваемость задолженности, себестоимость продаж и дату подведения результатов, не оказывают значимого воздействия на конечное решение модели, не играя ключевой роли в определении исхода закупки.

2. В то время как некоторые признаки, такие как дата регистрации, запасы и количество заполненных записей, значительно влияют на прогнозируемый исход. Их изменения могут приводить к позитивному или негативному смещению прогноза.

3. Показатели «Общее количество предоставленных единиц», «Сумма незавершенных исков» и «Сводный индикатор» дают значимый вклад в прогнозирование исхода. Они представляют собой категориальные признаки и не могут быть конвертированы в количественные значения.

4. Параметры, такие как «Дата исполнения контракта» и «Дата контракта», играют важную роль в прогнозировании исхода, функционируя через кусочную функцию, которая дает различные результаты на разных промежутках.

5. Время исполнения контракта может быть связано с сезонными факторами или стандартными сроками исполнения контрактов, а также с определенными требованиями к исполнению контрактов или условиями поставки товаров или услуг.

6. Большой объем и высокая стоимость покупки могут снижать вероятность успешного выполнения контракта.

7. Прогнозирование исходов на основе множества факторов представляет собой сложную задачу, требующую учета всех значимых параметров.

Заключение

В результате, созданная модель машинного обучения демонстрирует эффективность в прогнозировании исходов госзакупок, используя разнообразные параметры. Важное значение имеют такие параметры, как дата регистрации, запасы и количество заполненных записей. Категориальные признаки, а также сроки исполнения контракта и дата его заключения оказываются важными для прогнозирования. Следует отметить, что большой объем и высокая стоимость покупки могут уменьшать вероятность успешного выполнения контракта. Несмотря на сложность задачи прогнозирования исходов госзакупок, которая требует учета множества факторов, разработанная модель машинного обучения показывает хорошие результаты. Использование такой модели может стать инструментом для оптимизации процесса госзакупок, повышения его прозрачности и эффективности, а также для предотвращения потенциальных рисков и проблем.