Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Программные системы и вычислительные методы
Правильная ссылка на статью:

Оптимизация рекуррентной нейронной сети при помощи автоматов с переменной структурой

Димитриченко Дмитрий Петрович

кандидат технических наук

научный сотрудник, Институт прикладной математики и автоматизации

360000, Россия, г. Нальчик, ул. Шортанова, 89а

Dimitrichenko Dmitriy Petrovich

PhD in Technical Science

Researcher, Institute of Applied Mathematics and Automation

360000, Russia, g. Nal'chik, ul. Shortanova, 89a

dimdp@rambler.ru
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0714.2023.4.69011

EDN:

FEIPTC

Дата направления статьи в редакцию:

13-11-2023


Дата публикации:

20-11-2023


Аннотация: Предметом исследования настоящей работы является выявление совокупности общих структурных свойств, присущих рекуррентным нейронным сетям и стохастическим автоматам, особенностью которых является целенаправленное поведение в динамических средах. При этом, выявляется необходимая общность свойств как в процессе их функционирования, так и в процессе их обучения (настройки). Автор подробно рассматривает такие аспекты темы, как: формализация целенаправленного поведения, рассмотрение конструкции автоматов, такое поведение обеспечивающих, а также, сравнительный анализ рассмотренных конструкций автоматов. Из выявленной общности функционирования и установленного взаимно однозначного соответствия нейронов полносвязной рекуррентной нейронной сети и состояний вероятностного автомата с переменной структурой вытекает возможность рассмотрения структуры настроенного стохастического автомата в качестве эталона для совокупности связей рекуррентной нейронной сети. Это приводит еще на этапе настройки к удалению избыточных состояний (нейронов) и связей между ними, опираясь на параметры соответствующего автомата. Методологией проведенного исследования является построение взаимно однозначного соответствия между нейронами полносвязной рекуррентной нейронной сети и актуальными после процесса настройки внутренними состояниями автомата с переменной структурой и вероятностями переходов между ними. При взаимно однозначном соответствии вероятности переходов автомата соответствуют весам связей между нейронами оптимальной конфигурации. Основные выводы проведенного исследования: 1. Сопоставление структур рекуррентных нейронных сетей и автоматов с переменной структурой позволяет воспользоваться преимуществами автомата с переменной структурой для решения задачи целесообразного поведения в динамических средах и построить на его основе рекуррентную нейронную сеть; 2. Соответствие внутренней структуры рекуррентной нейронной сети и автомата с переменной структурой позволяет уже на этапе обучения высвобождать обучаемую рекуррентную нейронную сеть от избыточных нейронов и избыточных связей в ее структуре; 3. В силу того, что автомат с переменной структурой приближается в процессе настройки к оптимальному для данных условий автомату с линейной тактикой при нелинейных значениях скорости обучения, то это позволяет провести логический анализ структуры итоговой рекуррентной нейронной сети.


Ключевые слова:

Нейрон, временная последовательность, контекст, задача управления, целесообразное поведение, линейная тактика, матрица вероятностей, марковская цепь, автомат, рекуррентная нейронная сеть

Abstract: The subject of this study is to identify a set of common structural properties inherent in recurrent neural networks and stochastic automata, the feature of which is purposeful behavior in dynamic environments. At the same time, the necessary commonality of properties is revealed both in the process of their functioning and in the process of their training (tuning). The author considers in detail such topics as: formalization of purposeful behavior, consideration of the design of automata, as well as a comparative analysis of the considered designs of automata. From the revealed commonality of functioning and the established one-to-one correspondence of neurons of a fully connected recurrent neural network and states of a probabilistic automaton with a variable structure, it follows that the structure of a tuned stochastic automaton can be considered as a reference for a set of connections of a recurrent neural network. This leads, even at the setup stage, to the removal of redundant states (neurons) and connections between them, based on the parameters of the corresponding automaton. The methodology of the conducted research is the construction of a one-to-one correspondence between the neurons of a fully connected recurrent neural network and the internal states of an automaton with a variable structure and the probabilities of transitions between them that are relevant after the tuning process. With a one-to-one correspondence, the probabilities of transitions of the automaton correspond to the weights of connections between neurons of the optimal configuration. The main conclusions of the study: 1. Comparing the structures of recurrent neural networks and automata with a variable structure allows one to take advantage of an automaton with a variable structure to solve the problem of appropriate behavior in dynamic environments and build a recurrent neural network based on it; 2. The correspondence of the internal structure of a recurrent neural network and an automaton with a variable structure allows already at the training stage to release the trained recurrent neural network from redundant neurons and redundant connections in its structure; 3. Due to the fact that an automaton with a variable structure approaches the optimal automaton with linear tactics for these conditions with nonlinear values of the learning rate, this allows a logical analysis of the structure of the final recurrent neural network.


Keywords:

neuron, time sequence, context, management task, appropriate behavior, linear tactics, probability matrix, markov chain, machine, recurrent neural network

Введение

Потребность решения задач, связанных с распознаванием образов, диагностикой ситуаций и состояний сложных систем, деления объектов на классы и проведение кластеризации данных [1-5], а так же задачи прогнозирования и управления [6], привела к созданию огромного разнообразия типов нейронных сетей.

Различные типы применяемых на практике нейронных сетей определяют и область их целесообразного применения, и процедуры их обучения.

Распространенным примером нейронной сети является однослойный персептрон [1-3], состоящий из фиксированного числа нейронов. Число нейронов обусловлено количеством классов распознаваемых объектов. На вход каждого из этих нейронов подаются данные: числа, например, пикселей оцифрованного изображения. Входы каждого из представленных нейронов взвешиваются положительными, или отрицательными числами. Нейроны обладают степенью чувствительности: пороговой функцией, или, чаще всего, заменяющей ее гладкой, дифференцируемой функцией, в качестве которой довольно часто выступают, либо сигмоида, либо гипертангенс. На выходе формируется ответ нейронной сети, как правило, единица на выходе нейрона с номером того класса, о принадлежности к которому он сигнализирует.

Усложнение достаточно простой архитектуры привело, в конце концов, к появлению многослойных

сверточных сетей (сетей глубокого обучения).

Практика показала, что выбор топологии нейронной сети, как правило, связан со спецификой поставленной задачи.

После вопроса о выборе актуальной топологии для решения поставленной задачи, возникает вопрос о количестве слоев и нейронов в каждом слое.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, т. е. особенностями той вычислительной среды, на основе которой предполагается реализация нейронной сети. При этом, сохраняется эмпирическая закономерность: чем сложнее конструируемая нейронная сеть, тем большую по сложности задачу способна решать искомая сеть.

Разработчику нейронной сети приходится, при этом, руководствоваться несколькими основополагающими принципами:

1. Возможности сети возрастают с увеличением числа нейронов, составляющих эту сеть, плотности связей между ними и числом выделенных слоев;

2. Введение обратных связей наряду с увеличением возможностей сети поднимает вопрос о динамической устойчивости сети в целом;

3. Сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов – возбуждающих, тормозящих и сохраняющих константные значения) также способствует усилению качества решаемой задачи;

4. Усложнение нейронной сети приводит к нелинейному увеличению вычислительных затрат на ее обучение и функционирование.

Следующим фактором, влияющим на качество получаемых нейронной сетью решений является репрезентативность обучающей выборки.

Нейронная сеть обучается ровно тем закономерностям в данных, которые содержатся (возможно в неявной форме) в обучающей выборке, поэтому несущественные, или содержащие ошибки примеры также будут усвоены нейронной сетью, как правильные и эталонные, что также окажет влияние на получаемый результат.

На этапе обучения нейронной сети кроме важности качества подбора репрезентативных данных значимую роль играет время обучения нейронной сети. Длительность обучения может потребовать значительных ресурсов, а недостаточное время обучения не позволит нейронной сети зафиксировать существенные и важные закономерности, содержащиеся в обучающей выборке, пусть даже репрезентативной, с корректным подбором эталонных примеров.

Существуют два фундаментальных принципа обучения (настройки) нейронной сети:

1. Усиление, или ослабление связи между нейронами при помощи изменения весов;

2. Изменение топологии нейронной сети при помощи мультииндексов (конструктивные методы обучения нейронных сетей) [7].

От того, насколько качественно будет выполнен этап обучения нейронной сети, зависит способность сети решать поставленные перед ней задачи во время ее непосредственного, целевого (эксплуатационного)функционирования.

Обучение нейронной сети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей так, чтобы эталонные состояния входов соответствовали ожидаемым значениям выходных нейронов. Во втором случае выходы нейронной сети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Поскольку репрезентативная обучающая выборка содержит знания об актуальной предметной области в явном (выбранных экспертом эталонных правил), и неявном (в виде сигналов окружающей среды при обучении без учителя) виде, то существенно важным является вопрос о логической интерпретации решений, получаемых корректно функционирующей нейронной сетью. Наличие таких логических правил позволило бы в явном виде описать закономерности рассматриваемой предметной области.

Одним из подходов к решению данного вопроса являются логические нейронные сети [8,9].

Несмотря на перечисленное разнообразие нейросетевых архитектур и способах их обучения, общим принципом является тот факт, что и входные, и выходные данные имеют фиксированный размер входного и выходного векторов.

Это, в свою очередь, накладывает известные ограничения на число классов и, например, разрешающую способность анализируемых изображений.

С другой стороны, обязательным требованием эффективности работы алгоритма обучения, например, алгоритма обратного распространения ошибки является условие организации случайной последовательности эталонных векторов, подаваемых во время очередной эпохи обучения.

Когда требуется проанализировать процесс последовательного получения данных, для которого существенным условием является порядок размещения этих данных в рассматриваемой последовательности, целесообразным решением является применение рекуррентных нейронных сетей [10,11].

В этом случае на вход нейронной сети подаются не только текущие (анализируемые) данные, но и данные о состоянии самой нейронной сети, полученные на предыдущем шаге функционирования.

Последнее условие позволяет организовать учет эффекта памяти, или контекста информации, что имеет огромное значение для анализа временных последовательностей.

Первой подобной сетью была сеть Хопфилда, которая позволяла организовать ассоциативную ячейку памяти [11].

Такая сеть обучалась методом обратного распространения ошибки и позволяла по зашумленным данным, подаваемым на вход, получать значение эталонного образца.

Дальнейшим шагом явилось появление сетей Элмана, которые могли классифицировать сдвиги данных во времени, относя подобные образцы к одному классу эталонных объектов.

Практика показала [10, 11], что рекуррентные нейронные сети хорошо справляются с обработкой данных, представимых в виде некоторого временного ряда (временной последовательности) x(t), t: 0,…, T, с учетом важности выделения контекста.

Такое свойство позволяет решать следующие интеллектуальные задачи:

1. Построение языковой модели;

2. Частотный анализ данных;

3. Модели акцентирования внимания;

4. Распознавание деталей на изображении с опорой на контекст и окружение;

5. Решение задачи управления для построения системы оптимальных реакций на события окружающей среды.

Построение языковой модели основано на анализе (в простейшем виде) парных сочетаний слов.

Построение частотной модели позволяет распространить принцип Марковских цепей на более сложные случаи.

Построение модели внимания позволяет отыскивать в структуре временных рядов наиболее важные (значимые) данные, Относя остальные к категории второстепенных.

Классификация деталей на изображении с учетом контекста и окружения позволяет выстраивать более точные модели распознавания.

Решение задачи управления с привлечением контекста связано с тем, что в сходных ситуациях, как правило, требуется подавать сходные управляющие команды на исполнительные механизмы, что существенно облегчает процесс обучения. Наличие контекста позволяет маркировать ситуации по степени их сходства.

Последний аспект делает предпочтительным применение рекуррентных нейронных сетей в задачах управления, что выделяет этот тип нейронных сетей большей скоростью обучения и лучшей выразительностью получаемого результата.

В настоящей работе предлагается решение задачи управления при помощи рекуррентной нейронной сети.

Основой для ее конструирования в обученном состоянии является стохастический автомат с переменной структурой.

Представление рекуррентной нейронной сети в виде стохастического автомата и использование в качестве процедуры обучения, применяемого для настройки этого автомата алгоритма обучения с подкреплением позволяет:

1. Минимизировать структуру рекуррентной нейронной сети;

2. Устранить, в случае необходимости, избыточные нейроны;

3. Сформировать структуру рекуррентной нейронной сети, наиболее полно отвечающей структуре временной последовательности данных.

Задача о формализации целенаправленного поведения

Нейронные сети и рассмотренные ниже линейные и стохастические автоматы имеют много общего: биологические прототипы, математически обоснованную общность, экспериментально подтвержденные положительные результаты функционирования.

Это позволит перенести результаты работы алгоритма настройки стохастического автомата для построения оптимальной конфигурации (в рамках заданной предметной области) рекуррентной нейронной сети.

Приведем формальное описание автомата:

X = x1, …, xk – множество сигналов, поступающих от окружающей среды на входы автомата (входной алфавит).

D = d1, …,dm – совокупность действий автомата, которые он способен выполнить при помощи своих исполнительных механизмов (выходной алфавит).

S = s1,…, sn, 2 <= m <= n- конечное множество внутренних состояний автомата (внутренний алфавит).

В общем случае количество внутренних состояний автомата и потенциально возможных действий, оказывающих влияние на окружающую среду могут не совпадать, тогда несколько состояний могут соответствовать одному действию.

Правила функционирования автомата в дискретные моменты времени однозначным образом задаются двумя функциями:

Функцией переходов внутренних состояний: st+1 = F(st,xt), и начальным внутренним состоянием в нулевой момент времени: s0 = S(t0).

Функцией зависимости выходных сигналов (действий) от внутренних состояний: dt = G(st). При этом, совершенно не обязательно, чтобы различным состояниям соответствовали различные действия.

При n = 1 -это будет тривиальный автомат с единственным не переключаемым внутренним состоянием s = s1, осуществляющем единственное действие d = d1 вне зависимости от сигнала на его рецепторах.

Мы будем рассматривать автоматы, как кибернетические устройства, способные реализовывать ту, или иную стратегию поведения. Анализ поведения автоматов успешно формализуется при помощи аппарата теории игр [12]. Этот выбор обуславливается тем, что теория игр позволяет легко создавать формальные системы правил (конструируемые окружающие среды с предсказуемой ответной реакцией) и последствия выборов в терминах выигрыша и проигрыша, что на язык автоматов легко переносится как «Поощрение» и «Наказание» за выбранные действия.

В отличие от игрока-человека автоматы не располагают эмпирическими знаниями о правилах той, или иной игры (законах выбранной «окружающей среды»).

Это свойство позволяет проводить сравнение степени целесообразности поведения автоматов различных в рамках единой шкалы оценок, как более, или менее результативных игроков.

Простейшей игровой системой, хорошо исследованной в биологических опытах, является модель Т-образного лабиринта.

Стратегии поведения в модели Т-образного лабиринта описываются двумя возможными действиями автомата, или животного в эксперименте Торндайка:

D = d1– «Левое ответвление»

d2– «Правое ответвление».

Результат сделанного выбора воспринимается животным, или фиксируется автоматом одним из двух возможных проявлений окружающей среды:

X = x1– «Штраф»

x2– «вознаграждение».

С каждым из указанных действий сопряжена своя, заданная вероятность наказания (поощрения) изначально автомату неизвестная.

Требуется найти конструкцию автомата, обеспечивающую нахождение наиболее целесообразного действия, т. е. связанного с минимальной величиной штрафа (или максимальной величиной поощрения).

Такие конструкции автоматов были найдены М. Л. Цетлиным и его последователями [13-16].

Модели среды и конструкции автоматов

Окружающая среда E, в которой с течением времени вероятности получения поощрения и наказания за выбранные действия остаются постоянными, называется стационарной.

Для описания стационарной окружающей среды, для каждого из m действий задается пара значений вероятностей: поощрения p и наказания 1 – p.

Таким образом, для формального задания стационарной окружающей среды достаточно задать m-компонентный вектор вероятностей:

E= e1, …, em = p1, …, pm.

Для нахождения оптимального действия в такой стационарной среде E М. Л. Цетлиным была предложена конструкция автомата с линейной тактикой.

Такой автомат в соответствии с доказанной им теоремой почти никогда не покидает найденного оптимального действия, выбирая его так, как если бы он знал о соответствующей этому действию максимальной вероятности поощрения.

Количество q последовательных состояний, закрепленных за определенным действием называется глубиной памяти автомата. Чем больше q, тем более инерционен автомат, а значит, тем большая суммарная величина (последовательность) штрафов вынуждает его к смене действий.

Большинство моделей окружающей среды E по необходимости должны включать в себя фактор времени.

Для этих целей конструируется динамическая окружающая среда в общем случае представляющая собой Марковскую цепь стационарных сред.

Динамическая среда формируется из множества стационарных сред e1, e2, .. el, состоящих из m действий d1, d2, …, dm каждая, характеризующиеся своими собственными вероятностями штрафов (поощрений).

Переключение между l стационарными средами осуществляется в соответствии с матрицей вероятностей, задающих соответствующую Цепь Маркова: P = pijразмерности l*l, i = 1,…, l, j = 1,…, l.

В данном случае, элемент матрицы pij равен вероятности переключения среды eiна среду ej в текущий момент времени t.

Очевидно, что в этих условиях действие, оптимальное в рамках одной стационарной среды, например, e1 окажется неоптимальным в среде e2, в результате чего автомат должен будет переключиться на другое оптимальное в новой среде e2 действие. Факт переключения с одной стационарной среды на другую для автомата также остается неизвестным.

Теорема о том, что для стационарной среды E увеличение глубины памяти q автомата с линейной тактикой асимптотически приближает его к величине min(p) минимуму величины штрафа [13], в условиях динамической среды не верен.

Оптимальное значение q не может быть получено аналитически [16], и отыскивается только путем выполнения вычислительных экспериментов. В этом случае по оси X откладываются значения глубины памяти q автомата с линейной тактикой, а по оси Y – соответствующие значения математического ожидания ошибки за фиксированное число итераций, например, 10000. Качественный результат состоит в том, что при малых значениях q автомат переключается с одного действия на другое слишком часто, не успевая «зафиксировать» оптимальное действие. Рост глубины памяти q приводит к уменьшению величины ошибки, затем с ростом q это значение падает: автомат становится инертным для данной динамической среды, «все время опаздывая», слишком долго задерживаясь на выполнении действия, которое при переключении сред перестает быть эффективным.

Закономерно возник вопрос о существовании автомата, который, функционируя в динамической среде самостоятельно подстраивался бы под ее условия, без необходимости прибегать к процедуре подбора глубины памяти q для каждого случая динамической среды, порожденной соответствующей Цепью Маркова. Такой вероятностный автомат был предложен В.И. Варшавским [15].

Автомат с переменной структурой

Автомат с переменной структурой задается в матричной форме.

Число матриц равно количеству входных сигналов p = P1,…,Pk, каждая из которых определяет вероятность перехода из состояния i в состояние j при наличии на входе автомата сигнала x1,…,xk.

Размерность каждой матрицы P=P(n,n)=n2, где n- число внутренних состояний автомата. Элементы матриц P1,…,Pk удовлетворяют следующим условиям:

  • Значение любого элемента матрицы P заключено в сегменте значений [0, 1].

2. Сумма строк (или столбцов) любой из матриц P1,…,Pkравна единицы.

В исходном состоянии и на любом шаге алгоритма все матрицы автомата должны соответствовать указанным условиям стохастичности.

Направленность действий алгоритма состоит в том, чтобы в процессе функционирования автомата с переменной структурой понижать вероятности переходов, приносящие автомату штраф и повышать вероятности переходов, приносящие ему поощрения.

Пусть множество входных сигналов X состоит из двух элементов x1 и x2 равных соответственно «Штраф» и «Вознаграждение», поэтому такой автомат будет определятся двумя матрицами P- и P+. В качестве примера рассмотрим случай, когда автомат, состоит из 4 состояний s1, s2, s3, s4 и двух действий, каждое из которых закреплено за своим, отличным от другого, подмножеством состояний: d1(s1, s2) и d2(s3, s4).

В начальный момент времени матрицы P+ и P- содержат равновероятные значения переходов между любыми двумя парами состояний.

Начальное состояние равно s1, начальный сигнал на входе +1 т. е. текущая обрабатываемая матрица автомата - P+ .

В начальный момент времени матрицы P+ P- имеют следующий вид, характеризуя равновероятные переходы:

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

В начальный момент времени выбор будет сделан по первой строке матрицы P+, Так как начальное состояние автомата равно s1. Пусть при помощи генератора случайных чисел был определен переход s1 s4. Состоянию s4 соответствует действие d2. Действие d2 определило реакцию окружающей среды «Штраф»=-1. Следовательно переход s1s4 и связанное с ним действие d2 для автомата являются неблагоприятными. Поэтому значение вероятности p+14должно быть понижено, например, на величину 0.03.

Для сохранения условий стохастичности матрицы P+, остальные значения вероятностей в первой строке должны быть увеличены на соответствующие значения.

Матрица P+ примет следующий вид:

0.26, 0.26, 0.26, 0.22

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

Поскольку автомат получил на вход сигнал штрафа, то следующий переход он будет выполнять в соответствии с текущим состоянием s4, пользуясь значениями четвертой строки матрицы P-. Пусть был сделан переход s4 s2. При этом было выполнено соответствующее действие d1. При этом автомат получил поощрение +1.

Такой переход расценивается автоматом, как положительный, следовательно, вероятность перехода p-42 будет увеличена, а прочие элементы четвертой строки матрицы P- соответствующим образом уменьшены.

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.25, 0.25, 0.25, 0.25

0.24, 0.28, 0.24, 0.24

Аналогично выполняются последующие шаги по настройке стохастического автомата.

Скорость обучения автомата естественным образом зависит от величины изменения весов указанных матриц, определяя эту скорость.

Линейные законы, т. е. константное значение изменения вероятностей переходов в матрицах П+ и П-, не всегда приводит к оптимальным конструкциям, подобным автоматам В. И. Кринского или Г. Роббинса [16].

Если ввести нелинейное изменение элементов указанных матриц, то исходные матрицы с равными вероятностями переходов постепенно сходятся к матрицам из нулей и единиц, соответствующих автомату с линейной тактикой и оптимальной глубиной памяти q* для заданной динамической среды.

Приведем [16] имеющий важное значение вывод о сравнении функционирования автомата с линейной тактикой и автомата с изменяющейся структурой:

  • Автоматы одинаковых конструкций в парных матричных играх в основном играют вничью, причем каждый из них, как правило, добивается максимально возможного в данных конкретных условиях выигрыша.
  • При игре двух отличающихся друг от друга стохастических автоматов с переменной структурой небольшими преимуществами обладает тот, у которого меньше величина коэффициента обучения и относительно меньшее число состояний.
  • В игре двух автоматов, один из которых стохастический с переменной структурой, а второй — с линейной тактикой, «переигрывает», как правило, стохастический автомат с переменной структурой независимо от емкости памяти автомата с линейной тактикой.

Последнее обстоятельство позволяет сделать вывод о том, что в стационарных случайных средах автомат с изменяющейся структурой функционирует не хуже автомата с линейной тактикой, асимптотически приближаясь к группе состояний, сопряженных с наилучшим действием в рамках данной стационарной среды E.

Так как в случае игры двух автоматов: автомата с линейной тактикой и автомата с переменной структурой, переигрывает автомат с переменной структурой, то этот факт свидетельствует о более высоких адаптивных качествах последнего, по сравнению с автоматом, характеризующимся фиксированной глубиной памяти.

Построение рекуррентной нейронной сети

Для того, чтобы воспользоваться приведенными выше результатами, необходимо построить рекуррентную нейронную сеть, являющуюся эквивалентом автомата с переменной структурой.

Для этого докажем следующее утверждение:

Утверждение. Существует взаимно однозначное соответствие между Рекуррентной нейронной сетью и структурой соответствующего вероятностного автомата, предназначенного для организации целесообразного поведения в заданной динамической стационарной среде, соответствующей некоторой Цепи Маркова.

Доказательство проводится конструктивным методом основой которого является взаимно однозначное соответствие между нейронами конструируемой рекуррентной нейронной сети и заданными состояниями автомата с переменной структурой. В этом случае, вероятности переходов между состояниями автомата являются весами связей между нейронами искомой рекуррентной нейронной сети.

Из способа доказательства вытекает и алгоритм конструирования рекуррентной нейронной сети по исходной совокупности внутренних состояний и матриц переходов автомата с переменной структурой.

Следствие 1. Положительные качества и преимущества стохастического автомата по сравнению с автоматом с линейной тактикой автоматически переносятся на соответствующую ему рекуррентную нейронную сеть.

Следствие 2. Опираясь на доказанное утверждение и на тот факт, что автомат с линейной тактикой соответствует некоторой заранее обученной нейронной сети, можно видеть, что рекуррентная нейронная сеть, соответствующая автомату с переменной структурой будет иметь преимущество перед нейронной сетью с фиксированной структурой при работе с временными рядами (временными последовательностями), так как фиксированная нейронная сеть обучалась на конечном отрезке временного ряда, а рекуррентная нейронная сеть с переменной структурой всякий раз подстраивается под локальные показатели временного ряда, которые могли не попасть в исходную обучающую выборку.

Заключение

Основными выводами проведенного исследования являются:

Рекуррентные нейронные сети являются эффективным методом анализа контекстно зависимых данных основой для которых выступают временные последовательности.

Формализация контекста в виде некоторого внутреннего состояния позволяет сопоставить функционирование такой нейронной сети с соответствующим этой сети вероятностным автоматом с переменной структурой и текущей совокупностью связей между его состояниями;

Это позволяет воспользоваться преимуществами автомата с переменной структурой для решения задачи целесообразного поведения в динамических средах и построить на его основе рекуррентную нейронную сеть.

Соответствие внутренней структуры рекуррентной нейронной сети и автомата с переменной структурой позволяет уже на этапе обучения высвобождать обучаемую рекуррентную нейронную сеть от избыточных нейронов и связей в ее структуре.

Так как автомат с переменной структурой приближается в процессе настройки к оптимальному для данных условий автомату с линейной тактикой при нелинейных значениях скорости обучения, то это позволяет провести логический анализ структуры итоговой рекуррентной нейронной сети.

Библиография
1. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. Новосибирск.: Наука. Сибирская издательская фирма РАН. 1996. С. 276.
2. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечёткие системы. М.: Горячая линия – Телеком. 2004. С. 452.
3. Хайкин С. Нейронные сети: полный курс, 2-е изд. / Пер. с англ. М.: Издательский дом "Вильямс". 2006. С. 1104.
4. Dimitrichenko D.P. A Method for Diagnosing a Robotic Complex Using Logical Neural Networks Apparatus, 2021 International Russian Automation Conference (RusAutoCon). 202. Pp. 907-911.
5. Kazakov M.A. Clustering Algorithm Based on Feature Space Partitioning, 2022 International Russian Automation Conference (RusAutoCon). 2022. Pp. 399-403.
6. Zhilov R.A. Application of the Neural Network Approach when Tuning the PID Controller, 2022 International Russian Automation Conference (RusAutoCon), 2022, Pp. 228-233.
7. Шибзухов З.М. Конструктивные методы обучения сигма-пи нейронных сетей. М.: Наука. 2006. С. 159.
8. Барский А. Б. Логические нейронные сети. М.: Интернет-университет информационных технологий Бином, Лаборатория знаний. 2016. S. 352.
9. Dimitrichenko D.P. Optimization of the Structure of Variable-Valued Logical Functions when Adding New Production Rules, 2022 International Russian Automation Conference (RusAutoCon), 2022, pp. 240-245.
10. Осовский С. Нейронные сети для обработки информации. М.: Горячая Линия – Телеком. 2017. С. 345.
11. Вакуленко С.А., Жихарева А.А. Практический курс по нейронным сетям . СПб.: Университет ИТМО. 2018. С. 71.
12. Поспелов Д.А. Игры и автоматы. М.: Энергия. 1966. С. 136.
13. Цетлин М.Л. Исследования по теории автоматов и моделированию биологических систем. М.: Наука. 1969. С. 316.
14. Поспелов Д.А. Вероятностные автоматы. М.: Энергия. 1970. С. 88.
15. Варшавский В.И. Коллективное поведение автоматов. М.: Наука. 1973. С. 408.
16. Варшавский В.И., Поспелов Д.А. Оркестр играет без дирижера: размышления об эволюции некоторых технических систем и управление ими. М.: Наука, 1984. С. 208.
References
1. Gorban, A.N., & Rossiev, D.A. (1996). Nejronnye seti na personalnom kompyutere. Novosibirsk. Nauka. Sibirskaya izdatelskaya firma RAN.
2. Rutkovskaya, D., Pilinskij, M., & Rutkovskij, L. (2004). Nejronnye seti, geneticheskie algoritmy i nechyotkie sistemy. Moscow: Goryachaya liniya – Telekom.
3. Dimitrichenko, D.P. (2021). A Method for Diagnosing a Robotic Complex Using Logical Neural Networks Apparatus, International Russian Automation Conference (RusAutoCon). 202, pp. 907-911.
4. Kazakov, M.A. (2022) Clustering Algorithm Based on Feature Space Partitioning, 2022 International Russian Automation Conference (RusAutoCon), pp. 399-403.
5. Zhilov, R.A. (2022). Application of the Neural Network Approach when Tuning the PID Controller, 2022 International Russian Automation Conference (RusAutoCon), 228-233.
6. Shibzuxov, Z.M. (2006). Konstruktivnye metody obucheniya sigma-pi nejronnyx setej. Moscow: Nauka.
7. Barskij, A. B. (2016). Logicheskie nejronnye seti. Moscow: Internet-universitet informacionnyx texnologij Binom, Laboratoriya znanij.
8. Dimitrichenko, D.P. (2022). Optimization of the Structure of Variable-Valued Logical Functions when Adding New Production Rules, International Russian Automation Conference (RusAutoCon), pp. 240-245.
9. Osovskij ,S. (2017). Nejronnye seti dlya obrabotki informacii. Moscow: Goryachaya Liniya – Telekom.
10. Pospelov, D.A. ( 1966). Igry i avtomaty. Moscow: Energiya.
11. Cetlin, M.L. (1969). Issledovaniya po teorii avtomatov i modelirovaniyu biologicheskix sistem. Moscow: Nauka.
12. Pospelov, D.A.( 1970). Veroyatnostnye avtomaty. Moscow: Energiya.
13. Varshavskij, V.I.( 1973). Kollektivnoe povedenie avtomatov. Moscow: Nauka.
14. Varshavskij, V.I., & Pospelov, D.A. (1984). Orkestr igraet bez dirizhera: razmyshleniya ob evolyucii nekotoryx texnicheskix sistem i upravlenie imi. Moscow: Nauka
15. Vakulenko, S.A., & Zhixareva, A.A. (2018). Prakticheskij kurs po nejronnym setyam. SPb. Universitet ITMO.
16. Xajkin, S. (2006). Nejronnye seti: polnyj kurs, 2-e izd. Per. s angl. Moscow: Izdatelskij dom "Vilyams.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Данная статья выполнена на интересную и полезную в теоретическом отношении тему. Во введении автор обращает внимание, что потребность решения задач, связанных с распознаванием образов, диагностикой ситуаций и состояний сложных систем, деления объектов на классы и проведение кластеризации данных, а также задач прогнозирования и управления, привела к созданию огромного разнообразия типов нейронных сетей. Судя по всему, автор исходит из необходимости выбора нейронных сетей и пытается обосновать оптимизацию рекуррентной нейронной сети при помощи автоматов с переменной структурой. Но в тексте отсутствует формулировка цели исследования и поэтому непонятно, для чего он предлагает это сделать. К тому же явно недостаточно показана актуальность самого исследования процесса оптимизации рекуррентной нейронной сети при помощи автоматов с переменной структурой. Крайне целесообразно сформулировать цель исследования и обосновать его актуальность.
В данном тексте хорошо показана теория вопроса и сам текст выполнен в большей мере как учебный материал, нежели исследовательский. Стиль изложения напоминает реферативный. К тому же нет формулировки научной новизны, хотя она очевидна. Необходимо только правильно ее сформулировать. Следует отметить, что в тексте для этого имеется основания. Например, автор отмечает, что в настоящей работе предлагается решение задачи управления при помощи рекуррентной нейронной сети. Основой для ее конструирования в обученном состоянии является стохастический автомат с переменной структурой. Это положение можно положить в основу формулирования научной навизны.
Очевидно, что автор хорошо владеет литературой по теме исследования. Приводимые им сведения логичны и понятны, способствуют пониманию сути обучения нейронной сети. Отмечается, что обучение нейронной сети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей так, чтобы эталонные состояния входов соответствовали ожидаемым значениям выходных нейронов. Во втором случае выходы нейронной сети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.
Рецензент полностью согласен с мнением автора о значении репрезентативной обучающей выборки. Отмечается, «поскольку репрезентативная обучающая выборка содержит знания об актуальной предметной области в явном (выбранных экспертом эталонных правил), и неявном (в виде сигналов окружающей среды при обучении без учителя) виде, то существенно важным является вопрос о логической интерпретации решений, получаемых корректно функционирующей нейронной сетью. Наличие таких логических правил позволило бы в явном виде описать закономерности рассматриваемой предметной области». Все верно.
Достоинством статьи следует признать последовательность изложения в ней материала, который по этой причине становится понятным даже непрофессионалам. В качестве аргумента указано, ссылаясь на практику, что рекуррентные нейронные сети хорошо справляются с обработкой данных, представимых в виде некоторого временного ряда (временной последовательности) x(t), t: 0,…, T, с учетом важности выделения контекста».
Автор считает, что такое свойство позволяет решать следующие интеллектуальные задачи:
1. Построение языковой модели;
2. Частотный анализ данных;
3. Модели акцентирования внимания;
4. Распознавание деталей на изображении с опорой на контекст и окружение;
5. Решение задачи управления для построения системы оптимальных реакций на события окружающей среды.
В методологическом отношении автор опирается на принципы единства и схожести в функционировании высшей нервной деятельности и систем машинного обучения. Но прямо об этом не пишет, а надо бы указать для расширения круга читателей. Дело в том, что стиль изложения и его язык автора специалисту по высшей нервной деятельности достаточно понятен. Особенно, когда речь идет о нейронах и т.д.
Статья конкретизируется, если в ней будет представлена формулировка предмета исследования. Пока ее нет.
Содержание самой работы свидетельствует о том, что построение языковой модели основано на анализе парных сочетаний слов. Построение частотной модели позволяет распространить принцип Марковских цепей на более сложные случаи. Построение модели внимания позволяет отыскивать в структуре временных рядов наиболее важные данные, относя остальные к категории второстепенных.
Конкретизируется положение о том, что представление рекуррентной нейронной сети в виде стохастического автомата и использование в качестве процедуры обучения, применяемого для настройки этого автомата алгоритма обучения с подкреплением позволяет:
1. Минимизировать структуру рекуррентной нейронной сети;
2. Устранить, в случае необходимости, избыточные нейроны;
3. Сформировать структуру рекуррентной нейронной сети, наиболее полно отвечающей структуре временной последовательности данных.
Данная статья не перегружена математическими формулами, это тоже можно отнести к ее достоинствам. Основной упор автор делает на разъяснение сути. Это видно даже в процессе формального описания автомата.
Автор анализирует вариации и показывает, что алгоритм конструирования рекуррентной нейронной сети по исходной совокупности внутренних состояний и матриц переходов автомата с переменной структурой вытекает из способа доказательства. В конечном итоге сделаны выводы о том, что рекуррентные нейронные сети являются эффективным методом анализа контекстно зависимых данных основой для которых выступают временные последовательности. Соответствие внутренней структуры рекуррентной нейронной сети и автомата с переменной структурой позволяет уже на этапе обучения высвобождать обучаемую рекуррентную нейронную сеть от избыточных нейронов и связей в ее структуре. С такими выводами можно согласиться.
Библиографический список состоит из источников по теме исследования, но рецензенту показалось, что некоторые источники могут быть обновлены по возрасту.
В целом же данная статья производит положительное впечатление. После доработки ее можно рекомендовать к опубликованию.
Но у рецензента имеется еще и другое мнение: например, в психологическом журнале эту статью можно опубликовать в представленном виде, поскольку психологам полезно знать алгоритмы функционирования нейронных цепей.