Анализ целесообразного поведения различных типов автоматов в условиях игры в размещения

Димитриченко Дмитрий Петрович кандидат технических наук научный сотрудник, Институт прикладной математики и автоматизации 360000, Россия, г. Нальчик, ул. Шортанова, 89а Dimitrichenko Dmitriy Petrovich PhD in Technical Science Researcher, Institute of Applied Mathematics and Automation 89a Shortanova str., Nalchik, 360000, Russia, Republic of Kbr dimdp@rambler.ru Другие публикации этого автора

Введение

Организация сложного поведения децентрализованных систем, построенных на базе простых элементов находит свое отражение в таком разделе машинного обучения, как «Коллективное поведение автоматов» ^[1], имеющее широкое прикладное значение от решения задач автоматной оптимизации, интеллектуального управления, построение робототехнических систем ^[2], и до вопросов психологии ^[3].

При этом, связь между нейросетевым и автоматным подходами является достаточно тесной ^{[4, 5]}. В связи с ростом вычислительных возможностей многопользовательских и многопоточных систем возникает объективная потребность в анализе и управлении ^{[6, 7]} совокупностью агентов действующих децентрализовано, в соответствии с собственным целеполаганием и взаимодействующих друг с другом и заданной окружающей средой.

При этом часто возникают ситуации, когда одно и тоже действие, выбранное несколькими агентами, может быть физически выполнено в конкретный момент времени только одним из них.

Например, только один из потоков, обрабатывающих актуальные данные, может производить операцию чтения (или записи). Всем остальным претендентам доступ к этим данным блокируется.

Только один робот на перекрестке, из двух подъехавших по разным путям, может пересекать противоположную трассу. Оба робота не могут одновременно двигаться (будет столкновение), или одновременно ожидать прохождения другого робота, тем самым создав ситуацию взаимоблокировки прохождения перекрестка на неопределенный срок не только текущими, но и следующими за ними роботами.

В биологической интерпретации, совместно выбираемым действиям агентов соотносятся, разделяемые несколькими животными, определенные участки экологической ниши. Тогда количество актуального ресурса на участке делится (не обязательно поровну) между всеми, присутствующими на нем животными.

Аналогичная ситуация возникает при активном использовании интернет-трафика несколькими приложениями.

Это простейшие случаи, иллюстрирующие правила поведения в рамках игры в размещения, когда действие, выбранное несколькими агентами, в отдельно взятый момент времени может выполнить (в нашем случае получить поощрение) только один из них (в нашем случае один из автоматов, выбравших это действие).

Все выше перечисленное позволяет привлечь к анализу поведения мультиагентных систем (конечного множества агентов в искусственной среде) теорию вероятности, теорию игр, теорию автоматов для получения теоретически обоснованных и подтверждаемых методами имитационного моделирования результатов.

Примененный в настоящей работе автоматный подход предоставляет в распоряжение исследователя формализованный (в рамках дискретной математики)метод, позволяющий выполнить формальную постановку задачи и проанализировать поведение агентов и самой заданной среды обитания в терминах автоматной модели (коллектива автоматов), входных, выходных и внутренних алфавитов, а также правил перехода и результатов выбора.

Целью настоящей работы является получение количественных оценок влияния инерционных свойств (различным образом проявляемых) определенных типов автоматов и различных значений глубины памяти на эффективность функционирования коллектива автоматов в стохастической среде, организованной по правилам игры в размещения.

Новизной проведенного исследования является следующее:

1. 1. Обоснование (теоретическое доказательство соответствующего утверждения и его подтверждение при выполнении вычислительных экспериментов) о том, что в стохастической среде игры в размещения в качестве доверительного интервала времени функционирования коллектива автоматов достаточно принять время функционирования отдельного (эталонного) автомата. Это позволило минимизировать время проведения вычислительных экспериментов для исследуемых типов автоматов, что особенно актуально при росте значений глубины памяти и, как следствие, росте количества времени вычислений.
   2. Такая оценка доверительного интервала оказывается инвариантной относительно заданного типа автоматов. При этом, чем больше коллектив автоматов, тем точнее оказывается полученная таким образом оценка актуального интервала времени.
   3. Применение для оценки эффективности коллектива автоматов интегральной величины математических ожиданий всех автоматов, которая в условиях не равнозначных по цене действий, является особенно информативной и позволяет точно интерпретировать приближение коллектива автоматов к статистически оптимальному состоянию, так как в силу стохастичности окружающей среды автоматы фактически всегда находятся в движении.
   4. Удалось пронаблюдать, что полученная таким образом интегральная величина эффективности функционирования коллектива автоматов, не только количественно стремится к максимизации совокупности поощрений от среды, но и информирует о стремлении коллектива к минимизации уровня внутриколлективной конкуренции.

Одним из традиционных методов анализа поведения автоматов является применение аппарата теории игр ^[8]. Такой выбор обусловлен тем, что теория игр позволяет легко создавать формализуемые системы правил (среда) и стратегий поведения (доступные действия), определяющие характер взаимодействия отдельного автомата (или совокупности автоматов) и окружающей среды ^[9].

Это обстоятельство позволяет сформировать замкнутый контур Среда-Автомат, в котором действия автомата определяют реакцию окружающей среды, которая в свою очередь, через обратную связь оказывает влияние на выбор последующего действия автомата.

Первые интересные модели такого типа были созданы Михаилом Львовичем Цетлиным ^[9]. Он выступил создателем целого направления исследований, получившего название «коллективное поведение автоматов» ^[9-12]. Им были сформулированы основные принципы, лежащие в основе подобных моделей, и способы их реализации.

Формализация понятия целенаправленного поведения позволила М. Л. Цетлину сформулировать базовый принцип организации сложного поведения совокупности децентрализованных систем, образующих коллективы автоматов.

Основные положения этого подхода состоят в следующем:

1) принцип суперпозиции;

2) принцип соизмеримости;

3) принцип универсальности структуры автомата.

Принцип суперпозиции. Любое достаточно сложное поведение слагается из совокупности простых поведенческих актов. Совместная реализация таких простых поведенческих актов и простейшее взаимодействие приводят в результате к весьма сложным поведенческим процессам.

Принцип соизмеримости. Степень целесообразного поведения анализируемой кибернетической системы рассматривается, как величина математического ожидания совокупности штрафов и поощрений, полученных этой системой от окружающей среды за наблюдаемый промежуток времени t. Эта величина находится в интервале со следующими границами:

Левая граница – это значение математического ожидания количества штрафов и поощрений полученных простейшей системой, реализующей стратегию случайного выбора доступных в данной среде действий из множества D=d1,..., dm, m>=2.

Правая граница – это величина математического ожидания штрафов и поощрений, полученных системой, которая в любой момент времени t, t>>1, всегда реализует заведомо оптимальное в данной среде действие di= d*, i=1, …, m.

Очевидно, что чем ближе величина математического ожидания поощрений анализируемой системы к левой границе определенного таким образом интервала, тем точнее ее поведение соответствует стратегии «случайного выбора». А чем ближе эта величина к правой границе интервала, тем ближе характер поведения «к системе, осведомленной о наилучшей возможной стратегии».

Такое определение целесообразного поведения не зависит от структуры анализируемой системы, а опирается только на статистический результат взаимодействия со средой.

Принцип универсальности. Конструкция анализируемой системы не должна содержать эмпирических данных об оптимальных (или неоптимальных) действиях в данной среде, т. е. такие действия система выявляет в процессе своего функционирования в течение некоторого времени t.

Первая автоматная реализация такой системы была предложена М. Л. Цетлиным.

Автоматная реализация

Приведем формальное описание автомата:

X = x1, …, xk – множество входных сигналов, поступающих от окружающей среды на вход автомата (входной алфавит).

D = d1, …, dm – конечное множество доступных автомату действий, (выходной алфавит).

S = s1,…,sn, 2 <= m <= n – конечное множество внутренних состояний автомата (внутренний алфавит).

Правила функционирования автомата в дискретные моменты времени t однозначным образом задаются двумя функциями:

Функцией переходов внутренних состояний: st+1 = F(st, xt), и начальным внутренним состоянием в нулевой момент времени t=t0: s0 = S(t0).

Функцией зависимости выходных сигналов (действий) от внутренних состояний: dt = G(st).

Общая постановка задачи

Пусть задана некоторая среда E, в которой будут функционировать автоматы исследуемых типов.

Пусть также имеются типы автоматов, для которых возможно установить степень целесообразного поведения в среде E определенным выше образом.

Требуется:

- определить степень влияния глубины памяти q каждого из рассматриваемых типов автоматов на изменение степени целесообразности поведения в указанной среде E;

- на основе полученных результатов определить тип конструкции автомата, достигающей заданного уровня целесообразности с минимально возможной глубиной памяти q=q*;

- в случае наличия нескольких эквивалентных конструкций, указать наиболее простую в реализации конструкцию.

Биологические предпосылки

Результаты из экспериментальной биологии потребовали сформулировать кибернетический «белый ящик», обладающий целесообразным поведением.

Проводимый эксперимент состоял в следующем ^[9]:

Подопытное животное помещалось в основание Т-образного лабиринта с возможностью выбора одного из двух действий:

«Повернуть влево»;

«Повернуть вправо».

По условиям эксперимента в конце каждого из двух ответвлений реализовывались неизвестные подопытному животному благоприятные (или неблагоприятные) условия с независимыми вероятностями для каждого из двух событий (ответвлений).

Требовалось установить способность подопытных животных различать свойства окружающей среды, носящие вероятностный характер.

Оказалось, что, несмотря на ошибки выбора в начале серии экспериментов, животные в последствии верно ассоциировали выбираемый ими поворот (выполняемое действие) с тем, для которого вероятность штрафа (вероятность попасть в неблагоприятную ситуацию) была минимальной.

Стационарная окружающая среда

Стационарная окружающая среда E является математическим описанием условий Т-образного лабиринта.

В Т-образном лабиринте было всего два доступных для выполнения подопытным животным действия: «повернуть влево» и «повернуть вправо». В каждом из выбранных ответвлений ожидалась своя вероятность поощрения Pl и Pr.

Обобщением этой ситуации является стационарная среда с m исходами (действиями).

Для каждого из m действий задается совокупность значений вероятностей: либо поощрения pi, либо штрафа 1 – pi, i=1, …, m.

Выбор оптимального действия в такой среде сводится к определению действия с максимальной вероятностью поощрения (минимальной вероятностью штрафа).

При этом, ни подопытное животное в биологических экспериментах, ни соответствующий ему по поведению автомат не располагают знаниями о исходных значениях вероятностей, но вынуждены эту информацию получать в опосредованной форме через сигналы поощрения и штрафа, получаемые от окружающей среды.

Типы конструкций автоматов

Первой конструкцией автомата, способного вести себя целесообразно в описанной выше стационарной среде E, является автомат с линейной тактикой, предложенный М. Л. Цетлиным.

Автомат L1 (с глубиной памяти q=1) состоит из m состояний S=s1,.., sm.

За каждым из m состояний si закреплено действие di, i=1, …, m.

Автомат L1, функционирует следующим образом:

В некоторый момент времени t=t*, находясь в состоянии si, автомат L1 выполняет выходное действие di, i=1, …, m.

В ответ на это действие окружающая среда и формирует сигнал, принимающий значение «Поощрение» в соответствии с вероятностью pi (или «Штраф» с вероятностью 1 – pi).

Этот сигнал подается на вход автомата l1.

Если автомат L1 на входе получает сигнал «Штраф», то он переходит в состояние si+1 и, следовательно, переключает внешнее действие с di на di+1.

При получении сигнала «поощрение» автомат L1 остается в исходном состоянии si, при этом смена действия не происходит.

Таким образом, в следующий момент времени t*+1 автомат L1 выполнит действие в соответствии со своим внутренним состоянием, и процесс взаимодействия автомата со средой повторится описанным выше образом.

Закрепляя за каждым из m действий di q последовательных состояний, мы получим последовательность линейных автоматов с монотонно возрастающей глубиной памяти q.

Цетлину удалось показать, что последовательность таких автоматов L1, L2, …, Lq, функционирующих в стационарной среде E, является асимптотически оптимальной, т. е. чем больше глубина памяти линейного автомата Lq, тем дольше такой автомат выполняет самое оптимальное действие (с максимальной вероятностью поощрения), и почти никогда не покидает связанные с ним состояния.

Усложнением автомата с линейной тактикой является автомат Кринского.

Он характеризуется тем, что при получении поощрения этот автомат всегда переходит в самое глубокое состояние, соответствующее текущему, выполняемому им, действию.

При получении штрафа от окружающей среды этот автомат реагирует точно также, как и автомат с линейной тактикой, понижая на единицу номер состояния текущего (выполненного) действия.

Для этого автомата также доказана теорема об асимптотической оптимальности при функционировании в стационарных средах E.

Следующим по степени усиления свойства инерционности является автомат Роббинса.

Он отличается от автомата Кринского тем, что в отличие от него, при смене действия автомат Роббинса сразу переходит в самое глубокое состояние, соответствующее новому действию.

В остальном он ничем не отличается от автомата Кринского.

Для него также верна теорема об асимптотической оптимальности в стационарных средах.

Заметим, что у трех автоматов: автомата с линейной тактикой, автомата Кринского и автомата Роббинса при глубине памяти q=1 алгоритмы функционирования полностью совпадают, утрачивая отличия между ними, что будет проиллюстрировано при анализе их функционирования.

Несколько другой подход к усилению инерционности применен в конструкции автомата Крылова.

Он сочетает в себе элементы поведения, как детерминированного, так и стохастического автомата.

При получении поощрения автомат функционирует точно также, как и автомат с линейной тактикой, увеличивая вплоть до самого глубокого номер состояния, соответствующего действию, за выполнение которого этот автомат получает поощрение от среды E.

При получении штрафа автомат Крылова «подбрасывает монетку».

При выпадении «орла» автомат не меняет своего состояния, а при выпадении «решки» он уменьшает номер текущего состояния, соответствующего действию, за которое получен штраф от среды.

Этот автомат также является асимптотически оптимальным в условиях стационарных сред.

Динамические среды

Первоначально формальным языком описания, как стационарных, так и динамических сред, с функционирующими в них автоматами, послужила теория игр.

Действия автомата из множества D взаимно однозначно соотносятся со стратегиями, доступными игроку в соответствующей (заданной) игре с конечным числом стратегий.

Например, совокупность из m действий, доступных автомату вместе со значениями вероятностей поощрений (штрафов) в стационарной среде E, на языке теории игр формулируется, как игра с природой:

1) задана одностолбцовая платежная матрица с m неотрицательными значениями;

2) элементы матрицы игры нормируются относительно максимального значения платежа и рассматриваются, как вероятности поощрений от стационарной среды E;

3) значение поощрения равно единице, значение штрафа равно нулю;

4) действиям автомата (игрок 1) соответствуют номера строк заданной матрицы;

5) природа (игрок 2) выбрала свою стратегию (единственный столбец) и не меняет ее в течение всех партий игры;

6) целью игры является максимизация выигрыша автомата.

Игрок 1 (автомат), в каждый момент времени t разыгрывает партию игры с природой и, в зависимости от выбранного действия d*=di и соответствующей этому действию вероятности p*=pi, на входе получает сигнал поощрения (или штрафа) от окружающей среды I, i=1, …, m.

Поскольку оптимальная стратегия игры с природой известно и соответствует выбору игроком действия с максимальной ценой pi=pmax, то создается возможность сравнить эффективность действия осведомленного игрока, которому известна вся платежная матрица, с действиями автомата, которому содержимое этой матрицы не известно.

Из теорем об асимптотической оптимальности рассмотренных выше типов автоматов следует, что чем больше глубина памяти q автомата, тем точнее его совокупные действия соответствуют оптимальной стратегии.

Игры двух автоматов

Случай матричной игры двух игроков с нулевой суммой – это пример того, как один автомат способен создать среду для другого автомата.

В этом случае, действиям первого автомата сопоставляются номера строк, а действиям второго автомата номера столбцов платежной матрицы.

Если первый автомат с вероятностью p получает поощрение, то второй автомат получает штраф, и наоборот, реализуя принцип антагонистической игры с нулевой суммой.

Задача первого автомата состоит в максимизации поощрений, задача второго автомата- в минимизации штрафов.

Если игра допускает решение в чистых стратегиях, то автоматы реализуют друг для друга стационарную среду, для которой повышение целесообразности связано с ростом глубины памяти q.

Решение в смешанных стратегиях требует от автоматов оптимальной глубины памяти, удовлетворяющей свойствам данной динамической среды и типа автомата.

Аналогичным образом строится игра двух автоматов в случае бескоалиционных, неантагонистических, биматричных игр с конечным числом стратегий.

Игра в размещения

Примером того, как коллектив автоматов формирует динамическую среду для отдельного автомата, является игра в размещения.

Биологической предпосылкой для игры в размещения служит следующая задача:

1) имеется конечное число участков (пастбищ, или охотничьих территорий) с различной степенью производительности пищи. На этих участках некоторым образом размещаются животные;

2) если два и более животных в текущий момент времени оказываются на одном участке, то производительность пищи участка делится поровну между этими животными.

Задача животного состоит в максимизации количества добываемой им пищи.

Описание игры в размещения легко формулируется на языке теории игр следующим образом:

1) пусть задано m стратегий d=d1, …, dm. Значение каждой стратегии равно математическому ожиданию события «Поощрение / Штраф» в случае ее выбора;

2) в рамках заданных стратегий функционируют n автоматов: n<m. Выигрыш от стратегии di, i=1, …, m, в любой момент времени t поровну делится между всеми выбравшими эту стратегию автоматами;

3) требуется найти условия, обеспечивающие максимальный выигрыш для всей совокупности автоматов.

Эти условия делятся на три основные группы:

- типы исследуемых автоматов, определяющие структуру и особенности их поведения;

- значение глубины памяти q, определяющее степень инерционности автомата (скорость переключения между действиями);

- структурные изменения автоматов, направленные на организацию различных способов взаимодействия в коллективе.

Мы будем анализировать рассмотренные выше типы автоматов: автомат с линейной тактикой, автомат Кринского, автомат Роббинса и автомат Крылова.

Мы также проанализируем влияние глубины памяти q на степень инерционности автоматов, т.е. на скорость переключения автоматов между действиями в среде E.

Взаимодействие автоматов варьируется от полной изолированности автоматов друг от друга, до введения внешней по отношению к структуре автоматов процедуры общей кассы.

Оценка скорости переключения

Скорость переключения действий автомата определяет минимальное время, за которое автомат способен использовать все доступные стратегии.

Требуется определить необходимый интервал времени функционирования конкретного типа автомата для сбора достоверной статистики.

Поскольку все автоматы образуют однородный коллектив, и выбор действия каждым из n автоматов является случайным, то, начиная с некоторого момента времени t=t* суммы поощрений и штрафов автоматов по всему коллективу примут статистически близкие значения. В этой связи в качестве индикатора такого состояния системы «коллектив автоматов» целесообразно принять коэффициент вариации сумм поощрений и штрафов по всему коллективу.

Очевидно, что если коэффициент вариации не увеличивается, то коллектив автоматов принял статистически равновесное (не улучшаемое) состояние.

Вычислительные эксперименты показали, что наилучший результат достигается тогда, когда время функционирования системы, состоящей из n автоматов, определяется временем функционирования однотипного эталонного автомата, не принадлежащего исследуемому коллективу, т. Е. не подверженного влиянию коллектива, но функционирующего в той же среде.

В этой связи рассмотрим сравнение времени функционирования отдельного автомата и автомата в коллективе.

Утверждение. Средняя скорость переключения между действиями одного из изолированных автоматов в игре в размещения не ниже значения этой скорости автомата, функционирующего в соответствующей стационарной среде.

Действительно, если у автомата при выборе текущего действия d*=di, i=1, …, m, в текущей партии отсутствуют соседи, то его новое состояние будет обусловлено только значением отклика окружающей среды на выбор данного действия в соответствии с вероятностью получения поощрения p*=pi. В этом случае его скорость смены действий будет совпадать с скоростью автомата в соответствующей стационарной среде E.

Если при выборе данной стратегии d*=di у рассматриваемого автомата имеются соседи (один, или более одного) на i-ой площадке, то текущая ситуация распадается на два случая:

Если сигнал поощрения среды достался рассматриваемому автомату, то в текущей партии факт наличия соседей не влияет на его скорость переключения между действиями.

Если, наоборот, при получении от среды сигнала поощрения в рамках дележа пищи рассматриваемому автомату достается штраф, то такой сигнал может лишь уменьшить (по крайней мере, не увеличить) время его пребывания на текущей площадке.

Таким образом, средняя скорость переключения между действиями изолированного автомата в игре в размещения не меньше, чем скорость переключения автомата в соответствующей стационарной среде E.

На практике скорость переключения автомата в коллективе выше скорости переключения эталонного автомата.

Проведение вычислительного эксперимента

Для проведения игры в размещения задано 10 площадок. В качестве доступных для автоматов действий.

Величина поощрения равна (+1), величина штрафа (-1).

Эти величины определяют следующие значения вероятностей получения поощрений:

Табл. 1. Платежная матрица

На первом этапе проведения серии вычислительных экспериментов потребовалось определить величины эффективности исследуемых типов автоматов и статистически достоверные интервалы времени для формирования этих величин.

В качестве опорной величины такого интервала времени было выбрано время (количество ходов) последовательного прохождения фиксированным автоматом с заданной глубиной памяти всех площадок (от наихудшей к наилучшей).

В качестве оценки эффективности функционирования заданного автомата целесообразно принять среднюю величину эффективности за ход, т. е. сумму поощрений и штрафов, полученных за время однократного прохождения автоматом всех площадок (выполнением всех доступных действий).

Фактически эта величина равна математическому ожиданию поощрений и штрафов автомата на всем множестве действий в случае однократного их выполнения.

Поскольку время пребывания автомата на конкретной площадке зависит от совокупного влияния конструкции автомата, текущей глубины памяти и последовательности штрафов и поощрений, обусловленной значениями генератора случайных чисел, то было принято решение построить серию из фиксированного числа независимых прохождений.

Это позволило:

1. 1. Получить средние величины математических ожиданий рассматриваемых типов автоматов в соответствии со значениями глубины памяти.
   2. Получить средние, статистически достоверные величины интервалов времени, требующиеся для выполнения автоматами всех доступных действий при условии, что в качестве минимальной единицы времени было выбрано значение одного хода, выполняемого автоматом.
   3. Проверить корректность обработки результатов экспериментов при помощи соответствующей величины коэффициента вариации значений средней эффективности по всей серии экспериментов для каждого из четырех типов автоматов, которая не только не превышала 10 процентов, но с ростом глубины памяти вне зависимости от типа автомата неуклонно уменьшалась.

Для проведения серии вычислительных экспериментов потребовалось создание специализированного программного обеспечения, реализующего алгоритмы поведения исследуемых типов автоматов и окружающей среды по правилам игры в размещения, позволяющего задавать соответствующие типы автоматов, их характеристики (значение глубины памяти) и различные параметры окружающей среды, коллективы автоматов, как совокупности независимых агентов.

Для каждого типа автомата была проведена серия из 10 независимых экспериментов, после чего полученные данные усреднялись.

Для каждой серии экспериментов генератор случайных чисел запускался с фиксированного начального значения, порождая, для всех типов автоматов идентичную псевдослучайную стационарную среду E.

Обозначим типы автоматов следующим образом:

Автомат с линейной тактикой- АЛТ;

Автомат Кринского- АКРН;

Автомат Роббинса- АРББ;

Автомат Крылова- АКРЛ.

Табл. 2. Математические ожидания поощрений и штрафов

Считая значение математического ожидания каждого автомата, как результат выполнения некоторого алгоритма, воспользуемся величиной среднего времени работы автомата, как оценкой быстродействия этого алгоритма для достижения полученного результата.

Табл. 3. Среднее время работы автомата

Для анализа поведения автоматов в игре в размещения были выбраны коллективы, состоящие из 4 автоматов, а в качестве критерия оптимальности поведения была выбрана, как наиболее гибкая, сумма поощрений и штрафов по всему коллективу.

Дополнительно, такая величина оптимальности показывает среднестатистическое расположение автоматов по площадкам, т. Е. с ростом памяти автоматы стремятся разместиться на наилучших площадках, максимизируя суммы поощрений и минимизируя фактор конкуренции в коллективе, как отрицательный фактор.

Табл. 4. Интегральные оценки эффективности функционирования в игре в размещения.

Из предыдущей таблицы мы можем видеть среднее время (количество ходов), требуемое для получения указанного результата коллективом, так как в качестве времени функционирования коллектива выступает однотипный эталонный автомат.

Автомат Крылова ^[10] располагает ярко выраженным механизмом инерционности поведения, обеспечивающим, как длительное (по сравнению с другими автоматами) пребывание в наилучшем состоянии, так и наиболее медленное приближение к наилучшему размещению коллектива в целом.

Заключение

Рассмотренные выше системы (коллективы), состоящие из достаточно простых автоматов, обладают свойством целесообразного поведения. Целесообразное поведение таких систем наблюдается уже при небольшом количестве входящих в них автоматов. Разнообразие поведения также достигается уже при незначительных изменениях в способах обработки входных сигналов от среды.

Нами были рассмотрены 4 типа автоматов.

Выявлены две автоматные стратегии:

1. За счет высокой скорости переключения посетить все доступные площадки (автомат с линейной тактикой);

2. за счет высокой инерционности длительное время оставаться в наилучшем состоянии (автомат Крылова).

Однако, второй результат достигается существенно длительным периодом времени для перехода коллектива в оптимальное статистически устойчивое состояние, что при сравнительно небольших значениях глубины памяти приводит к значительным вычислительным затратам, что иллюстрирует таблица средних периодов времени функционирования эталонных автоматов.

Суммы поощрений и штрафов численно равны суммам математических ожиданий наилучших площадок, занимаемых автоматами, следовательно, дальнейшее усложнение конструкций автоматов, т. Е. рост глубины памяти не может привести к значительному увеличению эффективности функционирования коллектива в целом, так как разница между возможным наилучшим значением и достигнутым результатом составляет в среднем не более 10- 20 процентов от возможного при значительном увеличении времени (модельного и реального) функционирования.

Полученные результаты могут быть положены в основу формирования оптимальных по сложности и вычислительным затратам коллективов автоматов для решения более сложных оптимизационных задач.

К таким задачам относятся:

1. 1. Организация различных форм информационного взаимодействия между отдельными автоматами с целью повышения эффективности функционирования коллектива в целом. Такое влияние характеризуется достижением заданного (уже известного) уровня эффективности функционирования коллектива автоматов с меньшим требуемым значением глубины памяти, приводящим к более низким вычислительным и временным затратам при проведении вычислительных экспериментов, так как коллективы синхронно функционирующих автоматов плохо поддаются процессу распараллеливания общего потока вычислений. Фактор временных затрат особенно ощущается, например, при исследовании поведения автомата Крылова уже при сравнительно небольших значениях глубины памяти;
   2. внесение в каждый из рассмотренных типов автоматов структурных изменений, приводящих коллектив автоматов к формированию процедуры общей кассы, как внутреннего свойства коллектива без введения такой внешней централизованной процедуры;
   3. оценка влияния вносимых изменений на эффективность функционирования каждого из рассмотренных типов автоматов;
   4. формирование автоматной реализации роевых (муравьиных) алгоритмов, характеризующихся согласованным движением всего коллектива к нахождению экстремума целевой функции в условиях отсутствия централизованного управления согласованными действиями отдельных агентов (автоматов).