Метод обнаружения объектов на изображениях на основе нейронных сетей на графах и небольшого количества обучающих примеров

Захаров Алексей Александрович кандидат технических наук доцент; кафедра программной инженерии; Муромский институт (филиал) федерального государственного бюджетного образовательного учреждения высшего образования «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых» ведущий научный сотрудник; Муромский институт (филиал) федерального государственного бюджетного образовательного учреждения высшего образования «Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых» 602264, Россия, Владимирская область, г. Муром, ул. Орловская, 23, ауд. 402 Zakharov Aleksei Aleksandrovich PhD in Technical Science Associate Professor; Department of Software Engineering; Murom Institute (branch) of the Federal State Budgetary Educational Institution of Higher Education 'Vladimir State University named after Alexander Grigoryevich and Nikolai Grigoryevich Stoletov' Leading researcher; Murom Institute (branch) of the Federal State Budgetary Educational Institution of Higher Education 'Vladimir State University named after Alexander Grigoryevich and Nikolai Grigoryevich Stoletov' 602264, Russia, Vladimir region, Murom, Orlovskaya str., 23, room 402 aa-zaharov@ya.ru Другие публикации этого автора

Исследование выполнено за счет гранта Российского научного фонда № 23-21-00486, https://rscf.ru/project/23-21-00486/

Введение

Обнаружение объектов – это важная задача компьютерного зрения, которая заключается в том, чтобы найти интересующий объект на входном изображении, а затем точно отнести его к определенному классу. Наиболее значимыми характеристиками результатов обнаружения объектов являются точность локализации и классификации, а также скорость обнаружения. Обнаружение объектов служит основой для многих других областей: автономная навигация, человеко-машинные интерфейсы, контроль технологических процессов, дистанционное зондирование Земли, медицинская диагностика, биометрия, видеонаблюдение и т.д.

В последние годы быстрое развитие методов глубокого обучения значительно способствовало прогрессу в области обнаружения объектов. В настоящее время разработано большое количество методов обнаружения объектов с использованием нейронных сетей. Методы обнаружения объектов на основе глубокого обучения принято делить на одноэтапные и двухэтапные ^[1]. К одноэтапным методам относятся YOLO ^[2], SSD ^[3], RetinaNet ^[4] и др. К двухэтапным методам принадлежат Fast R-CNN ^[5], Faster R-CNN ^[6], Mask R-CNN ^[7] и др.

Следует отметить, что методы обнаружения объектов на основе глубокого обучения сталкиваются со следующими критическими проблемами:

- многообразие сцен при реальных наблюдениях. Большое количество методов обнаружения объектов достаточно хорошо работает в лабораторных условиях: равномерное освещение, однородный статичный фон, отсутствие движения камеры и т.д. Однако в реальных условиях наблюдения точность обнаружения объектов значительно уменьшается. Это связано с наличием сложного текстурированного фона и низкого контраста изображений, присутствием посторонних подвижных объектов, наличием взаимных перекрытий, затененных областей и шумов.

- необходимость разметки больших наборов изображений ручным способом. Ключевым компонентом революции в области глубокого обучения была доступность больших аннотированных наборов данных. Несмотря на то, что большинство наборов данных компьютерного зрения маркируются с помощью краудсорсинга, этот процесс по-прежнему является дорогостоящим и требует много времени, что становится узким местом при развертывании систем глубокого обучения. Многие существующие методы обнаружения, основанные на глубоком обучении, показывают в лабораторных условиях хорошие результаты с использованием больших наборов данных. Однако эти методы труднореализуемы в реальных условиях из-за невозможности создания больших аннотированных наборов данных.

- необходимость обнаружения объектов по категориям, у которых количество экземпляров в обучающем наборе очень мало. Часто возникает проблема обнаружения объектов по категориям, у которых нет экземпляров в обучающем наборе или их количество ограничено. Если количество обучающих примеров слишком мало, по сравнению со всеми возможными вариациями, то возникает проблема обучения с использованием небольшой выборки.

Таким образом, одной из основных проблем при реализации методов обнаружения объектов на основе глубокого обучения является необходимость создания большого объема аннотированных данных, что не всегда возможно по экономическим и техническим причинам.

В последние годы активно разрабатываются методы обнаружения объектов на основе обучения с «нескольких выстрелов» (few-shot learning), которые пытаются решить задачу с использованием небольшого количества примеров ^[8]. Часто бывает, что данные базового класса ограничены несколькими примерами для обучения. В этом случае модель предварительно обучается на крупномасштабном наборе данных из другой области. Основное же назначение нескольких примеров – это адаптация представления к предметной области ^[9]. Таким образом, для обучения модели требуется значительно меньше маркированных данных.

Известны следующие методы обнаружения объектов, основанные на обучении с «малым количеством выстрелов»: Multi-Scale Positive Sample Refinement for Few-Shot Object Detection (MPSR) ^[10], Frustratingly Simple Few-Shot Object Detection (TFA) ^[11], Few-Shot Object Detection via Feature Reweighting (MetaYOLO) ^[12] и др. Однако точность методов обнаружения с использованием небольшого количества обучающих данных остается низкой.

Предлагается использовать структурное представление сцены для повышения точности обнаружения объектов. Для описания структуры будут использоваться графы. Особенности графа позволяют оценить связи между элементами изображения. Графы используются в различных областях компьютерного зрения для сегментации изображений ^[13], обнаружения значимых областей ^[14], кластеризации ^[15] и др. Возможности графов позволяют анализировать структурные отношения между объектами сцен, что даёт возможность собирать больше информации по сравнению с локальным анализом данных.

В последние годы изучение графов быстро продвинулось вперед благодаря наличию больших наборов данных, мощных вычислительных ресурсов, а также достижениям в области машинного обучения и искусственного интеллекта ^[16]. Методы глубокого обучения могут эффективно кодировать и представлять данные о графах в виде векторов. Эти векторы затем можно использовать в различных задачах с высокой производительностью. Нейронная сеть на графах (Graph Neural Network, GNN) – это архитектура глубокого обучения, специально разработанная для данных, описанных при помощи графов ^[17-20]. В отличие от традиционных алгоритмов глубокого обучения, которые в первую очередь были разработаны для текста и изображений, GNN созданы специально для обработки и анализа структурированных наборов данных.

Целью исследования является разработка метода, повышающего точность обнаружения объектов. Предполагается, что при использовании структурного представления точность обнаружения объектов на основе небольшого количества обучающих примеров повысится.

Научная новизна разработанного метода заключается в совместном использовании нейронных сетей на графах и обучения с «нескольких выстрелов» для увеличения точности обнаружения объектов.

Разработка метода обнаружения объектов на изображениях на основе нейронных сетей на графах и небольшого количества обучающих примеров

Разработанный метод включает два этапа.

Этап 1. Обнаружение объектов с использованием обучения с «нескольких выстрелов» ^[12].

Этап 2. Повышение точности обнаружения с использованием нейронной сети на графах. Структурная схема метода представлена на рисунке 1.

Рис. 1. Структурная схема метода обнаружения объектов на изображениях на основе нейронных сетей на графах и небольшого количества обучающих примеров

На этапе 1 происходит обнаружение объектов с использованием обучения с «нескольких выстрелов». Далее на основе обнаруженных ограничивающих прямоугольников объектов строится матрица вероятностей Y₁:

Y₁=ℝ^BxC,

где B – количество обнаруженных ограничивающих областей, C – количество классов, Y₁ – вероятность c-ого класса b-ой ограничивающей области.

На этапе 2 осуществляется повышение точности обнаружения с использованием нейронной сети на графах. Связи между объектами задаются с использованием графа знаний. Граф знаний представляет собой семантическую сеть, которая хранит информацию о различных классах объектов и связях между ними. Граф знаний, описывающий связи между классами объектов, показан на рис. 2.

Рис.2. Граф знаний, описывающий связи между классами объектов

Предполагается, что совместное присутствие на рисунке таких объектов, как человек и велосипед, человек и мотоцикл, человек и лодка и т.д. поможет повысить точность обнаружения с использованием имеющихся связей (рис. 3).

Рис. 3. Совместное присутствие на изображениях объектов различных классов

В графе знаний каждая вершина представляет некоторый класс, а ребро графа от вершины V₁ до вершины V₂ является условной вероятностью ^[21]

P (V₂/ V₁).

Например, если человек и велосипед появляются вместе в наборе данных 10 раз, а всего человек появляется в наборе данных 20 раз, то ребро от вершины класса «человек» до вершины класса «велосипед» будет иметь значение

P (человек/ велосипед) =0,5.

Граф знаний описывается матрицей смежности A= ℝ^CxC, где C — количество классов, представленных графом.

На вход свёрточной сети на графах подается следующий вектор:

G_{1, c}=max_{b=1, 2,…, B}(Y_1,bc), c=1, 2, C,

где G_1,c – значение максимальной вероятности c-ого класса среди всех обнаруженных ограничивающих прямоугольников.

В задаче классификации узлов GNN использует информацию для создания векторного представления каждого узла в графе. Такое представление включает в себя не только исходные характеристики вершины, но также информацию о связях между вершинами. Вместо того, чтобы ограничиваться исходными атрибутами, GNN добавляет к свойствам исходных вершин атрибуты из соседних вершин и ребер, что делает представление гораздо более полным и значимым. Новые представления вершин затем используются для выполнения конкретных задач, таких как классификация вершин, регрессия или прогнозирование связей. В частности, GNN определяет операцию свёртки графа, которая объединяет информацию из соседних вершин и рёбер для обновления представлений. Эта операция выполняется итеративно, что позволяет модели изучать более сложные взаимосвязи между вершинами по мере увеличения количества итераций (рис. 4). В работе сеть содержит четыре свёрточных слоя.

Рис. 4. Классификация узлов графа на основе свёрточной сети

Свёрточная сеть на графах описывается следующим правилом потока информации между слоями ^[17]:

H_l+1=ReLU((aD^-1+I)H_lW_l)+B_l,

где I – единичная матрица , H_l – активационная матрица слоя l, H_l+1 – активационная матрица слоя l+1, D – степенная матрица графа, W_l – матрица весов, B_l – переменная для управления средним значением выходного сигнала, a – настраиваемый параметр, который используется для определения влияния связанных узлов. По умолчанию a=0.5.

Результат работы нейронной сети на графах представлен в виде матрицы корректирующих весов:

G₂=GNN(G₁).

Окончательный результат представляет собой поэлементное произведение исходной матрицы Y₁ и матрицы корректирующих весов G₂:

Y₂=Y₁G₂.

Исследование метода

Для проведения исследования использовались изображения из набора данных PASCAL VOC. Для каждой категории отбирались K экземпляров: K = 1, 3, 5, 10.

Была рассчитана средняя точность (Mean average precision):

mAP=(SUM_k=1...n(AP_k))/n,

` `

где n – количество классов, AP_k– средняя точность класса k

Результаты экспериментов были сведены в таблицу 1.

Таблица 1. Расчет показателя mAP для разного количества экземпляров

В процессе обучения нейронной сети на графах были рассчитаны потери. Нейронная сеть на графах обучалась в течение 500 эпох (рис. 5).

Рис. 5. График функции потерь при обучении нейронной сети на графах

Для оптимизации применялся алгоритм ADAM. ADAM позволяет настраивать скорость обучения для каждого параметра. Для обучения модели использовался графический процессор GeForce RTX 3060. Таким образом, разработанный метод позволяет повысить среднюю точность на 1-5% за счет анализа структурных связей между объектами.

Заключение

В статье предложен метод, который частично компенсирует недостатки метода обучения с «малым количеством выстрелов» при обнаружении объектов. Метод основан на использовании нейронной сети на графах для описания структуры анализируемой сцены. Эксперименты показали эффективность разработанного метода. Средний показатель точности обнаружения объектов увеличился до пяти процентов. Также было показано, что предложенный метод позволяет достичь еще большей точности при увеличении объема обучающих данных.