Димитриченко Д.П. —
Оптимизация рекуррентной нейронной сети при помощи автоматов с переменной структурой
// Программные системы и вычислительные методы. – 2023. – № 4.
– С. 30 - 43.
DOI: 10.7256/2454-0714.2023.4.69011
URL: https://e-notabene.ru/itmag/article_69011.html
Читать статью
Аннотация: Предметом исследования настоящей работы является выявление совокупности общих структурных свойств, присущих рекуррентным нейронным сетям и стохастическим автоматам, особенностью которых является целенаправленное поведение в динамических средах.
При этом, выявляется необходимая общность свойств как в процессе их функционирования, так и в процессе их обучения (настройки).
Автор подробно рассматривает такие аспекты темы, как: формализация целенаправленного поведения, рассмотрение конструкции автоматов, такое поведение обеспечивающих, а также, сравнительный анализ рассмотренных конструкций автоматов.
Из выявленной общности функционирования и установленного взаимно однозначного соответствия нейронов полносвязной рекуррентной нейронной сети и состояний вероятностного автомата с переменной структурой вытекает возможность рассмотрения структуры настроенного стохастического автомата в качестве эталона для совокупности связей рекуррентной нейронной сети. Это приводит еще на этапе настройки к удалению избыточных состояний (нейронов) и связей между ними, опираясь на параметры соответствующего автомата.
Методологией проведенного исследования является построение взаимно однозначного соответствия между нейронами полносвязной рекуррентной нейронной сети и актуальными после процесса настройки внутренними состояниями автомата с переменной структурой и вероятностями переходов между ними. При взаимно однозначном соответствии вероятности переходов автомата соответствуют весам связей между нейронами оптимальной конфигурации. Основные выводы проведенного исследования:
1. Сопоставление структур рекуррентных нейронных сетей и автоматов с переменной структурой позволяет воспользоваться преимуществами автомата с переменной структурой для решения задачи целесообразного поведения в динамических средах и построить на его основе рекуррентную нейронную сеть;
2. Соответствие внутренней структуры рекуррентной нейронной сети и автомата с переменной структурой позволяет уже на этапе обучения высвобождать обучаемую рекуррентную нейронную сеть от избыточных нейронов и избыточных связей в ее структуре;
3. В силу того, что автомат с переменной структурой приближается в процессе настройки к оптимальному для данных условий автомату с линейной тактикой при нелинейных значениях скорости обучения, то это позволяет провести логический анализ структуры итоговой рекуррентной нейронной сети.
Abstract: The subject of this study is to identify a set of common structural properties inherent in recurrent neural networks and stochastic automata, the feature of which is purposeful behavior in dynamic environments.
At the same time, the necessary commonality of properties is revealed both in the process of their functioning and in the process of their training (tuning).
The author considers in detail such topics as: formalization of purposeful behavior, consideration of the design of automata, as well as a comparative analysis of the considered designs of automata. From the revealed commonality of functioning and the established one-to-one correspondence of neurons of a fully connected recurrent neural network and states of a probabilistic automaton with a variable structure, it follows that the structure of a tuned stochastic automaton can be considered as a reference for a set of connections of a recurrent neural network. This leads, even at the setup stage, to the removal of redundant states (neurons) and connections between them, based on the parameters of the corresponding automaton. The methodology of the conducted research is the construction of a one-to-one correspondence between the neurons of a fully connected recurrent neural network and the internal states of an automaton with a variable structure and the probabilities of transitions between them that are relevant after the tuning process. With a one-to-one correspondence, the probabilities of transitions of the automaton correspond to the weights of connections between neurons of the optimal configuration. The main conclusions of the study:
1. Comparing the structures of recurrent neural networks and automata with a variable structure allows one to take advantage of an automaton with a variable structure to solve the problem of appropriate behavior in dynamic environments and build a recurrent neural network based on it;
2. The correspondence of the internal structure of a recurrent neural network and an automaton with a variable structure allows already at the training stage to release the trained recurrent neural network from redundant neurons and redundant connections in its structure;
3. Due to the fact that an automaton with a variable structure approaches the optimal automaton with linear tactics for these conditions with nonlinear values of the learning rate, this allows a logical analysis of the structure of the final recurrent neural network.
Димитриченко Д.П. —
Построение алгоритма и программная реализация интеллектуальной обработки данных при помощи переменнозначных логических функций
// Кибернетика и программирование. – 2017. – № 3.
– С. 39 - 50.
DOI: 10.25136/2644-5522.2017.3.18438
URL: https://e-notabene.ru/kp/article_18438.html
Читать статью
Аннотация: В настоящей работе предметом исследования являются логические алгоритмы распознавания и диагностики, предназначенные для функционирования в слабоформализуемых областях знаний. К подобным алгоритмам можно отнести деревья направленного поиска и логические нейронные сети. Предлагаемая реализация логического алгоритма поиска объектов в рамках заданной предметной области, наиболее полно отвечающих некоторому множеству свойств, основана на применении логических функций, построенных при помощи переменнозначных предикатов. Представление обучающей выборки в виде переменнозначной логической функции позволяет не только устранить избыточность в описании объектов, но и построить все возможные классы объектов по всем признакам, а также, при помощи построенных функций выявить скрытые закономерности в рассматриваемой предметной области.
Основой для построения переменнозначных логических функций является совокупность продукционных правил, каждое из которых содержит как набор свойств, так и определяемый ими объект. Объединение и оптимизация правил производится при помощи логических операций. Научная новизна настоящей работы заключается в следующем:
предложен подход извлечения знаний из начальных баз данных, содержащих информацию о свойствах анализируемых объектов при помощи переменнозначных предикатов; предложен метод получения всевозможных классов структур телекоммуникационных сетей, позволяющий выявить дополнительные свойства и осуществить интеллектуальный выбор искомой топологии.
Abstract: The object of study in this article involves logical algorithms for recognition and diagnostics, which are designed for functioning in weakly formalized areas of knowledge. Directional search trees and logical neural networks can be classified as such algorithms. The proposed implementation of a logical algorithm for searching for objects within a given domain, which are correspondent to a set of properties, is based upon the application of logical functions, which are formed with variable-valued predicates. The representation of the training sample in the form of variable-valued logic function allows not only to eliminate redundancy in the description of objects, but also to construct all possible classes of objects by all attributes, and also, using the constructed functions, to reveal hidden regularities in the subject domain.The basis for constructing variable-valued logical functions is a set of production rules, each of which contains both a set of properties and an object defined by them. Integration and optimization of rules are performed using logical operations. The scientific novelty of this study is due to the following. The author proposes knowledge extraction from the initial databases containing information on the properties of the analyzed objects using variable-valued predicates. Then a method is proposed for obtaining all possible classes of structures of telecommunication networks, which makes it possible to reveal additional properties and to make an intelligent choice of the desired topology.