Цифровой кибернарратив: «Опера мозга» Тода Маховера

Безменов Вадим Сергеевич ORCID: 0000-0003-3981-9649 Руководитель студии эстрадно-джазового вокала "Триумф", Культурный центр Зеленоград 124482, Россия, г. Москва, ул. Центральная Площадь, 1, оф. 252 Bezmenov Vadim The head of the pop and jazz vocals studio “Triumph”, Zelenograd Cultural Center 124482, Russia, Moscow, ul. Central Square, 1, office 252 bezmenov333@yandex.ru

Опера как вид искусства, сопрягаемый с социальными процессами и зависимый от изменений культурных ориентиров, в ХХI веке подвергается глобальной трансформации. В настоящий период, определяемый невероятно стремительными социальными, экономическими и культурными метаморфозами, вызванными свершившейся «цифровой революцией», повсеместным распространением Интернета и всевозможных сетевых устройств и персональных гаджетов, новый поджанр оперы превратился в дискурсивное пространство вокруг взаимоотношений человека и технологий в цифровую эпоху. Это ответвление оперного жанра в зарубежных исследованиях называют «кибернарративной» оперой ^[1,2]. Кибернарратив определяет специфику нового оперного жанрового ответвления, неразрывно связанного с цифровым технологиями, которые в данном контексте, приобретают тематическое значение и выдвигаются на первый план.

В ХХI веке это направление получает мощный импульс развития, однако, его основания были заложены еще в конце ХХ века и одним из важных источников новых идей стало творчество американского композитора и изобретателя Тода Маховера. Маховер много лет возглавляет экспериментальную группу под названием «Гиперинструменты/Опера будущего» в MIT Media Lab. Направление многогранной творческой деятельности Маховера, совмещающего в себе как ученого, так и композитора вливается в направление, определяемое как «Global Science Opera». Оно объединяет в себе науку, искусство, технологии и образование посредством глобальной сети научных, художественных и образовательных учреждений и проектов. В основе цифровое взаимодействие и идея создания на основе дистанционных цифровых технологий коллективных опер.

Созданная Маховером и его командой Медиа-лаборатория - MIT Media Lab, представила в 1996 году проект под названием Brain Opera (Опера Мозга), явивший первый в своем роде опыт интерактивного взаимодействия слушателей и создателей оперного спектакля, который включал в себя как онлайн-участников, так и живых зрителей. Премьера Оперы Мозга состоялась в Линкольн-центре в Нью-Йорке в период с 23 июля по 3 августа 1996 года.

В Медиа-Лаборатории совместно со своей творческой группой Маховер разработал не только концепцию Оперы Мозга, но также и идею так называемой «Игрушечной Симфонии» - проекта, в котором потенциал детской креативной энергии достиг своего апогея. Композитор и изобретатель предлагает рассматривать способность к музыке как некую универсальную человеческую возможность, существующую априори в том же контексте, что и языковые способности. К настоящему моменту Маховером создано пять опер. Перечислим их в хронологическом порядке: опера «Валис» (VALIS): опера в двух действиях (1987) по роману Филипа К. Дика; «Опера Мозга» (Brain Opera) (1996) – интерактивная музыкальная опера-инсталляция по книге Марвина Минского; «Воскресение» (1999 – опера по роману Льва Толстого; «Скеллиг» (2008), опера по одноименному роману Дэвида Алмонда; «Смерть и Власть» (2010), опера с живой электроникой и робототехникой, разработанная в Медиа Лаборатории Массачусетского технологического университета. Либретто Роберта Пински; «Шенберг в Голливуде» (2018), опера с кинематографическими фрагментами и живой электроникой. Либретто Саймона Робсона.

Разработав также множество новаторских музыкальных технологий, в числе которых - Гиперинструменты (Hyperinstruments), расширяющие возможности музыкальной виртуозности, а также Гипер-партитура (Hyperscore), программное обеспечение, которое позволяет любителям создавать сложную, оригинальную музыку с использованием графических изображений: линий и цветов.

Среди его более поздних произведений опера «Смерть и Власть», включающая в себя различные специально созданные устройства: интерактивную музыкальную люстру, аниматронные стены и целую армию роботов.
Далее творческая группа Маховера сосредоточилась на соединении музыкальных технологий с идеями трансгуманизма. Работая с пациентами в таких учреждениях, как больница Тьюксбери Бостона, целью группы является создание адресных музыкальных мероприятий, которые адаптируются к навыкам, существующим проблемам и потребностям каждого конкретного человека.

«Опера Мозга» стала занимательным ярким и необычным интерактивным проектом). Этот интерактивный спектакль гастролировал по Европе, Азии, США и Южной Америке с 1996 по 1998, а в 2000 году его интерактивная инсталляция была постоянно установлена в Доме музыки в Вене. Творческая коллаборация «Оперы Мозга» располагалась между различными городами и странами: коммуникация осуществлялась через использование комбинаций Skype и Team Viewer.

Проект был изначально адресован не только взрослым любителям музыки, но и самым младшим любителям музыки в возрасте до 8 лет. Возможно, причиной подобной популярности послужило отсутствие поведенческих барьеров и желания включения в социальную игру — творческий процесс, вовлекающий людей всех возрастов. Маховер стремился привлечь эти разновозрастные группы людей напрямую, через создание особого инструментария, включающего в себя современные технологии.

Идея создания интерактивной композиции, основой которой может быть физический жест или какая-либо сформулированная реципиентом при особых прилагаемых условиях музыкальная мысль, привлекала многих композиторов ХХ - ХXI го века. Осуществление этой идеи неизбежно ставит вопрос необходимости создания музыкальной системы, основанной на физиологии человека. Системы биологической обратной связи традиционно были средством анализа вызванной реакции. С тех пор понятие биоконтроля было развито достаточно широко. В последнее время разработка специальных интерфейсов получила широкое распространение и имеет потенциал развития в различных музыкальных приложениях. Аналоговые системы биологической обратной связи использовались в музыке с 1960-х годов. Дэвид Тюдор, композитор и соавтор Джона Кейджа, применил биологическую обратную связь, непосредственно управляющую звуком. "Музыка для исполнителя соло" Элвина Люсьера стала самой известной композицией, основанной на интерактивности. Люсьер писал: «Я осознал ценность ситуации на ЭЭГ [электроэнцефалограмме], представив это как перформативный элемент театра. Я также был тронут изображением неподвижного, если не парализованного человека, который просто изменяя состояния визуального внимания, можно активировать при помощи ударных ^[10,5]».

Дэвид Розенбум создал ряд гибридных работ с биологической обратной связью и определил это поле следующим образом: «Термин “биологическая обратная связь” будет использоваться для обозначения представления в организме информации через сенсорные каналы ввода о состоянии и / или ходе изменения биологического процесса в этом организме, с целью регулирования или контроля производительности над этим процессом, или же просто с задачей внутреннего исследования и повышения самосознания» ^{[2, 47]}.

Использование ЭЭГ или записи сигналов мозговых волн увлекало многих художников – перформеров и музыкантов. Со времен Люсьера и Розенбума наиболее «продвинутые» многоканальные электродные системы позволяют более детально контролировать деятельность мозга человека. Между тем, электроника сделала понятие биологической обратной связи доступным для широкого круга людей. Такие интерфейсы как Interactive Brainwave Visual Analyzer (IBVA) Масахиро Кахата применялись также нью-йоркским музыкантом Мия Масаокас с целью расширения инструментальной исполнительской практики. Они использовали низкоамплитудный, высоко шумовой сигнал, однако, извлечение музыкально значимых сигналов из биопотенциала мозга до сих остается проблемой в художественно-перформативной практике.

Использование медицинских электродных систем позволило тщательно изучить музыкальные идеи и их репрезентацию в системе ЭЭГ. Голландский ученый Питер Десейн изучил физические ответы на ЭЭГ в качестве ритмических стимулов, исследуя возможность обнаружения через ЭЭГ воображаемого ритма субъектом, сопоставляя выходной сигнал ЭЭГ с записанным следы при прослушивании этого ритма. Разработки в области компьютерного моделирования мыслительных процессов - интерфейсы (BCI) были расширены до возможности музыкального взаимодействия. Бразильский композитор Эдуардо Миранда предлагает музыкальные интерфейсы мозг-компьютер (BCMI), используя непрерывные показания ЭЭГ, которые активируют генеративные музыкальные алгоритмы и биосигналы, преодолевая также сложность модуляции музыкальной динамики. Эндрю Броуз создал медитативную инсталляцию с использованием этих технологий ^{[3, 100]}.

Идея биомузыки существовала и развивалась с начала ХХ века. Еще в 1934 году Е. Адриан и Б. Мэтьюс психофизиологи осуществили попытку преобразования электроэнцефалограммы мозга (ЭЭГ) в звук. Альфа-ритм — это устойчивые колебания частотой 10 Гц. Они регистрировались с помощью энцефалограммы. Известный перформанс Элвина Люсьера «Музыка для исполнителя соло» (Music for Solo Performer 1965 г.), одним из первых исполнителей которого был Джон Кейдж, своим основанием имел сотрудничество с Эдмондом Дьюаном – ученым, занимавшимся исследованиями биопотенциалов мозга.

Появление методов цифровой обработки сигналов в 1980-х годах сделало воспроизводимым контроль элементов взаимодействия и одновременно более надежным, чем при использовании аналоговых технологий. Таким образом, произошел фундаментальный сдвиг в возможностях художественного использования биологической обратной связи к введению понятия биологического контроля. В то время как биологическая обратная связь позволяет контролировать физиологическое состояние и может переводиться на другие носители с помощью визуализации или ультразвуковой обработки, биоконтроля, она стремится создать воспроизводимое взаимодействие с использованием физиологических биосигналов. Тереза Маррин Накра из MIT Media Lab использовала активный сухой электрод Delsys-системы телесности для электромиографического (ЭМГ) отслеживания жестов дирижера оркестра. Ёичи Нагашима создал самодельную схему еще до создания theDIY. движение для имитации музыкального взаимодействия на основе ЭМГ ^[4].

Все эти революционные технологии стали основой кибернарратива в современной опере. Почву для развития этих идей подготовило творчество американского композитора Тода Маховера и в частности – его проект Опера Мозга (Brain Opera).

Опера Мозга — это интерактивное музыкальное путешествие в «дебри разума», представленное, одновременно, как в физическом, так и в киберпространстве. Это был первый образец оперного жанра, в котором исполнитель с помощью биопотенциалов мозга в беспроводной ЭЭГ-гарнитуре запускал как видео, звуковое окружение, так и либретто, в тесной связи с деятельностью биопотенциалов мозга.

У Маховера вышеупомянутая идея применения биопотенциалов головного мозга, ранее использованная Люсьером, получает новый ракурс творческого развития. Биопотенциалы — импульсы мозговой активности отображаются в реальном времени: исполнитель взаимодействует с аудиторией в пределах 360-градусного иммерсивного театра, и драматическая история рассказывается в пространстве между исполнителем и зрителем.

Основополагающая идея заключалась в том, чтобы попытаться найти ответ на вопрос: есть ли место в человеческом сознании, которое было бы невозможно представить через посредничество современных технологий, спроецировав его на изображение и звуковую среду? Маховер создал предварительное либретто, основывающееся на устном повествовании – подлинной истории жизни Нур Инайят Хан - суфийской мусульманской принцессы и одновременно тайного британского агента в оккупированной нацистами Франции, затем убитой в Дахау.

Основными механизмами сюжета оперы представлены: память и самопознание, которые строятся на основе инвазивных и сложных технологий наблюдения и самоконтроля. В проекте были задействованы тактильные факторы взаимовлияния исполнителей и участников через создание системы обратной связи, в которой исполнитель взаимодействовал с аудиторией посредством движения, взгляда, прикосновения и речи, что заметно изменяло альфа-ритмы мозговой деятельности исполнителя.

В основе сюжета – образ молодой женщины Нур Инаят Хан, чей отец Хазарат Инайят Хан принес суфизм на Запад в начале ХХ века. Нур родилась в Москве ее мать — американка, а отец индус; она выросла в Великобритании и Франции, и, будучи из аристократической индийской семьи, приходилась пра-праправнучкой Типу Султану, правителю княжества Майсур; свободно говорила как по-английски и по-французски. Во время Второй мировой войны британское Управление специальных операций SOE воспользовалось этим фактом, и в 1942 году ее забросили в оккупированный Париж работать радистом сопротивления. Нур была первой женщиной-радисткой, отправленной в оккупированную нацистами Европу, а ее подпольная работа продлилась всего три месяца, после чего ее разоблачили. Ее пытали в Гестапо, а затем отправили в концентрационный лагерь. В 1944 году Нур была расстреляна в Дахау. Во время ее заключения она никогда не разглашала информации. Этот факт – внутренняя работа сознания, которую при помощи современных технических средств можно было сделать объектом контроля, стал основной идеей оперы, которая напрямую связана с центральной темой творчества Маховера о возможности наблюдения за человеческим сознанием, с помощью биометрических показателей человека — в первую очередь за человеческим мозгом.

Работа над оперой осуществлялась в течение двух лет. Как только Маховер получил доказательство своей концепции, что мозговые волны действительно способны вызывать визуальные эффекты, формировать звук и речь, он создал творческую коллаборацию с программистом Max / MSP Томми Мартинезом, который разработал патч для запуска различных паттернов мозговых волн в соответствии с четырьмя различными психическими состояниями. Затем он обратился к звуковому художнику Тарасу Машталеру. Текст был основан на биографии Нур, которая существовала изначально в материалах индийской писательницы Шрабани Басу, опубликованных первоначально в сети, а затем на английском языке под названием «Принцесса-шпион» ^[5], а во второй версии, появилась в документальном фильме «Враг Рейха» режиссера Роберта Х. Гарднера.

Звуковая партитура, предварительно записанное либретто и видео содержались внутри четырех электронных банков данных, где были зафиксированы звуки, соответствующие определенным эмоциям: возбуждения, медитативным состояниям и ощущениям разочарования. Эти банки данных запускались установленными критериями, которые были отобраны во время репетиций исполнителями. Так, например, в тот момент, когда отображались определенные состояния героини Нур, Маховер стремился к репрезентации медитативности и сосредоточенности. В тот момент, когда достигалось определенное пороговое состояние, появлялась гармоничная и спокойная музыка. В либретто прозвучало девяносто девять имен Бога, почти так же, как в знаменитом вокальном секстете “Stimmung” Штокхаузена.

Последовательность звуков, изображений и заранее записанных слов могла бы запускаться случайным образом из каждого отдельного банка данных, но непременно в тот момент, когда был достигнут и предопределен порог измерения той или иной эмоции. Это преодоление было необходимым, чтобы избежать запуска неверных цепочек реакций, посредством чрезмерного эмоционального напряжения. Банки данных, соответствующие эмоциям возбуждения, производили короткие, прерывистые звуки. Отдельные ключевые фразы либретто, способные переключать эмоциональные планы, соотносились с другими эмоциями, например разочарования, следующими за аналогичными, но согласно четко продуманным траекториям.

Помимо истории Нур Инаят Хан еще одним важным источником служит широко известная и даже переведенная на русский язык книга Марвина Минского «Сообщество разума».

Марвин Минский — отец искусственного интеллекта, в 1959 году вместе с Джоном Маккарти он основал первую Лабораторию в Массачусетском технологическом институте, в котором также работал и Тод Маховер. Исследования Минского привели к теоретическим и практическим сдвигам в освоении искусственного интеллекта, оказали влияние на развитие когнитивной психологии, нейронных сетей, теории машин Тьюринга и рекурсивных функций. Один из пионеров интеллектуальной робототехники и телеприсутствия. Минский, будучи сторонником символьной теории в ИИ, в 1974 году предположил, что человеческий разум интерпретирует каждый новый объект, и, в частности языковой, посредством особых структур памяти, которые он назвал фреймами. В 1986 году он издал свою книгу «Общество разума» ("The Society of Mind") ^[6], послужившую, в том числе и основой темой оперы Маховера. В этом исследовании содержится теория мышления, которая затрагивает все что возможно: от зарождения человеческой речи и, заканчивая утверждением, что компьютер, бесспорно обладающий мыслительным потенциалом, в отдельных случаях, может даже не подчиняться исключительно чистой логике. Минского, так же, как и Маховера, увлекала идея инструментария, предназначенного для познания закономерностей мышления. Основополагающим тезисом в концепции ученого стало то, что мышление основывается на сложном взаимодействии множества простых программ.

Минский видел в музыке особый потенциал для освоения тайны человеческого разума, задаваясь вопросом: «Почему мы любим музыку?», он утверждал: «Наша культура погружает нас в это на несколько часов каждый день, и все знают, как это затрагивает наши эмоции, но мало кто задумывается о том, как музыка затрагивает другие мысли. Поразительно, как мало у нас любопытства по поводу столь всепроникающего «экологического» влияния. Что мы могли бы обнаружить, если бы изучили музыкальное мышление? Есть ли у нас инструменты для такой работы?» (…) «Я чувствую, что теория музыки застряла, слишком долго пытаясь найти универсалии. Конечно, мы хотели бы изучать музыку Моцарта, как ученые анализируют спектр далекой звезды. Действительно, мы находим почти универсальные практики в каждую музыкальную эпоху. Но мы должны относиться к ним с подозрением, поскольку они могут показать не больше, чем то, что композиторы тогда считали универсальным. В таком случае поиск истины в искусстве становится пародией, в которой практика каждой эпохи лишь пародирует предрассудки своих предшественников». ^{[6, 39]}

Проблема поиска универсальных законов мышления с точки зрения Минского, заключается в том, что и память, и мышление взаимодействуют и развиваются вместе. Мы не просто узнаем о чем-то, а учимся думать; и тогда мы можем научиться думать о самом мышлении. Вскоре наши способы мышления становятся настолько сложными, что мы не можем ожидать понимания их деталей с точки зрения их поверхностного функционирования, но мы можем понять принципы, которые направляют их рост ^{[6, 39]}.

Исследования процесса создания музыки, выполненные Минским, признают ряд важных аспектов общности между сочиненной и свободно импровизированной музыкой. В одном из интервью 1985 года Джорджа Льюиса прозвучало то, что Минский интересовался взаимоотношениями свободной импровизации и музыкальной композиции. «Я помню, как разговаривал с Марвином Минским и Марианн Амашер однажды в Сохо [...], и я сказал, что хочу купить компьютер и построить на нем интерактивную систему импровизации. [...] Казалось, они сочли, что это хорошая идея, и ее следует обсудить» ^{[7, 25]}. Так существуют и «объективные» подсказки (темы, формы движения, и т. д.) и, напротив, «субъективные» сигналы, которые обладают скорее психодинамическими функциями (например, для развития или начала), которые могут восприниматься по-разному в зависимости от слушателя и не обязательно идентифицируемы в партитуре» ^{[7 ,26]}.

Свидетельства относительно важности этих «субъективных» сигналов перекликаются с описанием музыкального произведения Минского: «Музыка, конечно, не обязательно должна оправдывать ожидания каждого слушателя; каждый звуковой сюжет требует новизны. Намерения не столь уж важны: намерения, контроль или новизна превращается порой в нонсенс. [...] У композиторов могут быть разные цели: утешать и успокаивать, удивлять и шокировать, рассказывать сказки, поражать художественной оригинальностью, учить новому или разрушать предшествующие представления об искусстве. [...] Когда ожидания подтверждаются слишком часто, музыкальная стилистика может показаться очень скучной. [...] Каждый музыкальный исполнитель должен прогнозировать и предварительно направлять фиксацию слушателя на привлечении его внимания» ^{[7, 39]}.

С точки зрения исследователя психоакустики Ирен Дельеж, исполнители, которые занимаются свободно импровизированной музыкой, способны к взаимодействию, что могло бы быть объективным сигналом, но, возможно, более специализированные навыки — это искусное управление теми самыми «психодинамическими функциями» субъективных сигналов ^[10,250]. Их привлечение (здесь нужно вспомнить и интерактивный инструментарий Тода Маховера – его гиперинстументы), влечет за собой хотя бы частично, активное переключение внимания слушателя путем непрерывной координации ^{[8, 27]}. В импровизации, «смысл создается в режиме реального времени исполнения, как столкновение или согласование различных наборов значений: [...] и то, что отдельные исполнители воспринимают и / или опосредуют, является тем, чего ожидает аудитория и тем, что она в итоге получает» ^[8,29].

Опера Мозга разделена на три части: «дебри разума», интерактивное пространство» в котором аудитория исследует и создает музыку, связанную с Опера Мозга через шесть новых интерфейсов. Net Music – это виртуальное интерактивное пространство, в котором участники из Интернета исследуют и создают музыку, связанную с Опера Мозга через Java-апплеты. Спектакль — перформанс Опера Мозга включает в себя три группы перформеров, которые используют новые интерфейсы, чтобы одновременно исполнять написанную музыку и знакомить публику с онлайн хранилищем сети Интернет.

В конце прошлого - начале нынешнего века психологи и психиатры выдвинули гипотезу о том, что человеческое сознание каким-то образом «управляется» одним (или небольшим количеством) высокоинтеллектуальных «центров управления». Мир «человеческой мысли» и сознания настолько не похож на любые другие явления, что многие считали разум необъяснимым с научной точки зрения. Еще в конце 1970-х годов ХХ века Минский представил концепцию, в соответствии с которой, человеческий интеллект не так уж сильно отличается от искусственного, как предполагалось до этого. В книге «Сообщество разума» Минский предлагает также теорию, что человеческий разум не имеет «центра управления», а, разумная мысль на самом деле — это собрание или «сообщество» индивидуальных бессмысленных «агентов». Минский создает метафору между человеческим мозгом и так называемыми «дебрями» этих агентов. В этом-то и заключается основная концепция дебрей разума в Опере Мозга и интерфейсов, таких как «поющее дерево», «говорящее дерево», «ритмическое дерево», «мелодические мольберты», «жестовые стены» — все эти ресурсы – не что иное как аккумуляцияразличных агентов, которые взаимодействуют с Опера Мозга через шесть различных интерфейсов.

Интерактивный раздел Оперы Мозга, названный «Дебри разума» или «Лобби» открылся в Джульярдском Мраморном вестибюле театра в июле 1996 года на первом фестивале Линкольн-центра. Он состоял из 29 инсталляций, управляемых мощностью 40 сетевых ПК и рабочих станций.

Во время действия в Опере Мозга эти интерактивные станции были открыты для широкой публики, которая могла изучать их и осваивать. Станции разделялись на пять основных типов, каждый из которых использовал различные методы распознавания жестов и мультимедиа – отображения. Некоторые из этих станций позволяли также управлять структурой звука, иные же, получали образцы голосов пользователей, а другие давали возможность параметрически манипулировать различными темами в Опере Мозга. Примерно по прошествии часа работы в «лобби» публику проводили в театральное пространство, где три музыканта исполняли аналогичные в стилистике композиции Оперы Мозга на множестве «гиперинструментов». Гиперинструменты Маховера представляют собой авторские разработки специальных инструментов, таких как гипервиолончель (Hypercello), гиперскрипка (Hyperviolin) или гиперсмычок (Hyperbow). Они предназначены для достаточно виртуозных музыкантов, в связи с чем нет необходимости изучать новые исполнительские техники и приемы, а их оригинальный внешний вид и дополнительные опции способны лишь улучшить исполнительские возможности.

Проект Brain Opera был сосредоточен на интеграции различных, часто не связанных между собой источников звука, происходивших от разных участников интерактивного процесса в вестибюле театра. Все это интегрировалось в единый коллективный художественный опыт, который, по сути своей, также является эммерджентным: то есть чем-то несоизмеримо большим, чем сумма всех его частей. Также и наш разум превращает фрагментированные переживания в рациональное мышление ^{[6, 308]}.

Через систему интерактивных инструментов вклад каждого из посетителей, воссоздавал новый облик музыкального произведения. Подобные аналогии с мыслительными процессами и тайнами человеческого мышления, были репрезентацией концепции пионера искусственного интеллекта Марвина Минского. Использование некоррелированного, и скорее даже стохастического участия аудитории (имитирующего нейронную стимуляцию) у Маховера, следовало теории Минского. Опера Мозга стремится к активному вовлечению неспециализированной аудитории в художественную среду, создавая новые возможности интерактивной музыки, которые до настоящего времени казались невозможными ^{[6, 309]}.

Опера Мозга как интерактивная инсталляция основывается на множестве различных инструментов и интерактивных станций, разработанных специально для этого проекта в лаборатории Массачусетского технологического университета. При этом, следует подчеркнуть, что этот проект ни в коем случае не являлся фиксированной, или же чисто экспериментальной инсталляцией: компоненты должны были работать во многих реальных средах и взаимодействовать с самыми различными людьми. В результате чего, технологии, созданные специально для этого проекта, продемонстрировали интуитивность, надежность и отсутствие чрезмерной чувствительности к изменению фоновых условий, шума и беспорядка.

Очевидно, что в Опере Мозга применялось множество различных громоздких приспособлений и установок, что не предполагало возможности ее представления вне специфически организованного пространства.

Далее перейдем к краткому описанию этих приспособлений, чтобы был понятен их принцип действия и получения информации для творческого поля Оперы Мозга.

Самыми простыми и многочисленными станциями в вестибюле театра были «говорящие деревья». Эти интерфейсы имели специально выделенный ПК, пару наушников, микрофон, цветной ЖК-экран и мышь Pro Point — портативное устройство, которое позволяло большому пальцу перемещаться по курсору, регулируя центр давления на вершине чувствительного к усилиям резистора, размером с кончик пальца. «Клики» по-прежнему определялись кнопкой, которая была установлена для возможности доступа к переключению с помощью указательного пальца. Переключатель был установлен под «ковриком» каждого говорящего дерева. Когда слушатель заходил под это дерево, коврик закрывался, перекрывая порт ПК. Далее запускалась последовательность Macro Mind Director, с видеоклипами Минского, чье «Общество разума» вдохновило как либретто, так и общую концепцию Оперы Мозга. На протяжении всего «диалога» появляющееся на мониторе изображение Минского задавало пользователям несколько вопросов, а их ответы записывались и индексировались на ПК, а затем передавались по сети в «банк сэмплов» для воспроизведения их во время последующих выступлений. Всего насчитывалось около 15 говорящих деревьев. Хотя диалог с Минским представлялся посетителю, как интересным, так и забавным, это было лишь одним из возможных применений возможностей, которые были доступными пользователю на каждом из говорящих деревьев.

Аналогичными по конструкции являлись и «Поющие деревья». Не имея тактильного интерфейса, они реагируют исключительно на певческий голос, который анализируется на основании десяти динамических функций. Эти же параметры управляли и механизмом алгоритмической композиции, которая эффективно повторно синтезировала голос участника на синтезаторе Kurzweil K2500. «Поющие деревья» стремились к созданию единообразия как это происходит в певческом голосе; чем дольше взаимодействие с интерфейсом, тем более тоновым и «благозвучным» становился конечный результат вокального ресинтеза ^[6].

Производные факторы также использовались для управления воспроизведением анимации на ЖК-экране. В определенный момент появлялась балерина и начинала танцевать, а когда голос прерывался, анимация трансформировалась в набор более простых изображений. Взаимообратная связь визуального и звукового факторов – была очевидной. Звуковые и визуальные стимулы побуждали найти соответствующие звуки, побуждающие процесс визуализации. У Маховера было три поющих дерева, каждое из которых работало в различных последовательностях изображений.

Еще один интерфейс, применяемый в Опере Мозга, — это мелодический мольберт. Он представляет собой связанные в единую сеть мониторы, встраиваемые в подвесной «столик». Эти мониторы были оснащены сенсорными экранами, чувствительными к давлению (Intelli Touch от ELO Touch Systems). Пользователи управляли параметрической последовательностью, выполняя одно из заданий на тему Оперы Мозга, перемещая палец по экрану. Синтезированные голоса, созданные на сэмплере Kurzweil K2500 и синтезаторе Korg Prophecy, реагировали на давление и скорость. Видеоряд, воспроизводимый на мониторе, также определялся положением пальца и давлением, используя различные обработки видео в реальном времени.

Еще одним интерактивным изобретением был специальный мольберт для создания мелодий. Каждый из них использовал пару компьютеров (один из которых был предназначен для музыки, а другой для создания видео), а также для музыкальных озвучек и создания различных визуальных эффектов. Данные о положении и давлении (физическом и акустическом) маркировались в зависимости от времени (слева), и в растровом варианте (справа), где значения определяли радиус. Давление падало до нуля, когда палец отрывался от стекла. Intelli Touch использовал распространяющиеся поверхностные акустические волны. Через стекло тач-скрина было возможно определить координаты пальца: время - согласно акустической кривой и пик поглощения, который также определялся положением пальца.

В интерфейсе «Гармонический драйвер» (Harmonic Driving) пользователь «управлял» анимированным автомобилем через графический и музыкальный интерфейс. Вместо того, чтобы использовать обычный руль или джойстик, что могло бы вызвать ассоциации с опытом компьютерных игрушек, пользователь контролировал свой новый опыт с особым интерфейсом, созданным при помощи большой, сгибаемой пружины (2 дюйма диаметром 15 дюймов в длину), которая создавала совершенно иные ощущения, и более подходила для создания графики. Музыкальные параметры избирались как при помощи графики, (наведением на разные треки или удары по музыкальным объектам), так и непрерывно (действиями джойстика направленными непосредственно на музыкальные эффекты). Углы изгиба, согласно системе координат, измерялись с помощью емкостного датчика для определения смещения между пружинами катушки, расположенной в середине. Четыре датчика были установлены снаружи катушек под углом 90 °. Передающий электрод (транслирующий синусоидальную волну 50 кГц), аналогичной конструкции, полностью наматывался на катушку над звукоснимателями. По мере изгиба пружины, звукосниматели сближались, а емкостная связь между передатчиком и приемником – трансформировалась. Экранированные кабели проложены от этих электродов до ближайшего усилителя, затем измерения электрического поля "Fish" оцифровывали четыре сигнала приближения в 7-битные значения MIDI.

Скручивание пружины также измерялось потенциометром, который вращался через относительный угол между верхом и низом пружины. Наличие участника обнаруживалось в тот момент, когда появлялся световой луч, направленный поперек сидения кресла, на котором располагался исполнитель, и прерывался, когда участник интерактивной музыкальной игры покидал его. В этот момент программное обеспечение автоматически обнулялось, а полученные сигналы потенциометра и фотодетектора - оцифровывались.

Все три гармонических драйвера работают согласно одному и тому же принципу. Каждый из них использует ПК для воспроизведения музыки (сгенерированный синтезатором E-Mu Morpheus) и IBM RS- 6000 (рабочая станция для создания графики). В джойстик встроен массив из восьми светодиодов, работающих под управлением MIDI.

Ритмическое дерево (Rhythm Tree) — представляет собой электронную ударную установку, состоящую из 320 ударных. Пэды взаимосвязаны как гирлянда из «новогодних лампочек. При обнаружении пика, превышающего пороговое значение, предполагалось извлечение набора функций из последующих 0–15 микро -секунд дистанционно программируемого интервала. К этим параметрам относились также полярность пика начального сигнала PVDF, и количество обнаруженных значительных нулевых пересечений, и суммарная интегральная амплитуда сигнала.

В барабанах использовалась эффективная схема, которая передавала данные с минимальной задержкой.

Практически все параметры драм-пэда (пороги срабатывания, время интегрирования, режимы светодиодов и т. д) программировались. Программа Visual Basic была специально создана для того, чтобы дать возможность этим параметрам быстрой настройки отдельных и групповых драм-пэдов. В таком случае, произведенные файлы данных загружались бы и объединялись в единый банк сэмплов с общим музыкальным программным обеспечением. Этот список параметров постоянно отправлялся для последующего перепрограммирования. Все пэды имели общее подключение к аналогово-цифровому входу, чтобы обеспечивать общие функции для прямого синтеза звука.

Последняя инсталляция – это «Стена жестов», использующая режим передачи датчиков электрического поля для измерения положения и движения рук и тела пользователя перед проекционным экраном. Латунная пластина передатчика на полу приводилась в действие низкочастотным синусоидальным сигналом (в диапазоне 50–100 кГц; при этом каждая стена жестов была настроена на разные частоты). В тот момент, когда исполнитель ступал на платформу передатчика, этот сигнал действовал непосредственно через обувь исполнителя. Комплект из четырех антенн, установленных по периметру экрана, был настроен через режим синхронной демодуляции для приема этого передаваемого сигнала и отклонения внеполосного фона. Амплитуда этих принятых сигналов, которая соответствовала силе емкостной связи (следовательно, близости к телу), обнаруживалась и направлялась через специальные логарифмические усилители, чтобы приблизиться к линейному диапазону напряжения, а затем оцифровывалась и выводилась по MIDI на ПК. Светодиод, установленный в каждом датчике, приводился в действие сигналом в соответствии с увеличением интенсивности по мере приближения исполнителя. Эти светодиоды также могли быть управляемыми напрямую через MIDI для подсветки любым цветом.

Подключенный ПК определял положения рук в плоскости приемников и удаленности от этой плоскости линейными комбинациями четырех сигналов датчиков. Весовые коэффициенты определялись методом вычисления данных, полученных с помощью рук, расположенных в плоскости датчиков. Принцип стены жестов по своему принципу действия напоминал отчасти как терменвокс, так и созданный впоследствии Львом Терменом терпситон, который состоял из платформы, оснащенной антеннами, контролирующими пространство, с помощью чего танцовщик управлял музыкальным материалом, получаемым из движений. Из трех созданных инструментов до наших дней сохранился лишь последний, изготовленный в 1978 году.

Аналогично этому принципу стены жестов также должны были создавать адекватный аудиовизуальный отклик, отражавший широкий диапазон различных типов телосложения и возможных принимаемых исполнителем поз и выполняемых телодвижений. Впоследствии этого, было разработано еще одно устройство, созданное на основе сканирующего лазерного дальномера, способного определять точные положения нескольких рук в плоскости, независимо от размера тела или принимаемой им позы. «Бэк-энд» каждой стены жестов состоял из пары ПК (на одном, из которых, был код анализа музыки и датчиков, а также код анализа графики), синтезатора Kurzweil 2500 и видеопроектора. Музыкальные карты образовывали последовательности, амплитуда которых увеличивалась по мере приближения тела к плоскости сенсора (исходя из нулевой точки - тишины, когда участник находился на большом расстоянии от датчиков). Диапазон изменялся по мере перемещения рук / тела вертикально. Низкие ноты образовывались, когда руки находились рядом с нижними датчиками, а высокие ноты возникали тогда, когда руки оказывались возле верхних датчиков. При изменении тембра инструмента происходило сканирование перемещения рук или тела - справа налево. Визуальные сопоставления создавали изменения в видеопоследовательности: по мере приближения человека к датчикам, возникали эффекты, сосредоточенные на реакции на положение рук или тела.

Еще один интерактивный инструмент представлял собой «сенсорное кресло», основанное также исключительно на режиме передачи измерения электрического поля. Исследования аудио тактильных дисплеев - относительно новы. Основной целью подобных разработок является улучшение тактильного восприятия за счет одновременной обработки нескольких аудио-тактильных каналов. Увеличивая количество каналов, можно эффективно улучшить получаемой информации. Аналогичным принципом, уже в 2000-х годах руководствовались создатели интерфейса Emoti-Chair — системы сенсорной подмены звука, которая предоставляет слабослышащим аудио-тактильную версию музыки ^[8]. Это система сенсорного замещения, которая предполагает, что музыку можно воспринимать как тактильную модальность, выявление вибраций, исходящих из разных инструментов и звуков, охватывающих звуковые частоты спектра, репрезентируемых в нескольких точках тела.

Сенсорное кресло у Маховера также похоже на стену жестов, за исключением того, что исполнитель располагается на кресле с электродом-передатчиком, прикрепленным к сиденью, обеспечивая взаимообратную связь с телом исполнителя. Поскольку исполнитель теперь находится в сидячем положении, он может свободно двигать ногами, которые также отслеживаются с помощью пары измерительных электродов, установленных на платформе кресла (индикаторы под ними аналогичны с подсветкой положения ног). Была доступной также и пара педальных переключателей для включения жесткого, независимого от датчиков триггера для перехода в режимы отображения и т. д. Система кресел во многих случаях широко применяется в Опере Мозга, так, например, часто запускает и перекрестное затухание нескольких развивающихся источников звука через движения руками и ногами. Третий инструмент для исполнения основан на совершенно другом наборе технологий.

Это так называемые «дубинки», которые были относительно популярными интерфейсами в исследованиях электронной музыки и множеством различных типов воспроизведения звука и были построены на основе контроллеров. Некоторые из них являлись оптическими трекерами, большинство из которых, было основано на ПЗС-матрице. Камера улавливала источник инфракрасного света, проецируемый на кончике дубинки, а в некоторых использовался сегментированный фотодиодный детектор. Дубинка — это мультимодальное портативное устройство ввода, которое измеряет несколько типов активности пользователя, с использованием трех различных сенсорных систем. Как и в предыдущих дубинках, положение инфракрасного светодиода на кончике дубинки точно отслеживается. Набор из пяти чувствительных к усилию полосок резисторов, установленный вдоль рукоятки исполнителя, измерял непрерывное давление большого, указательного, среднего пальца, а также двух последних пальцев вместе и ладони. Система была дополнена набором из трех ортогональных микромеханических акселерометров.

С тем, чтобы обеспечить надежную и быструю реакцию в театральных постановках с большим, непредсказуемым фоном от ламп накаливания сценического освещения, не использовалось интерактивного видео, однако, взамен был построен специальный трекер с синхронной демодуляцией, основанный на 2D позиционно-чувствительных фотодиодах (PSD). Эта видеокамера была расположена в нескольких метрах от исполнителя с тем, чтобы можно было увидеть представление в полном объеме. Инфракрасный фильтр, расположенный над камерой, вместе с узкой полосой пропускания фильтра демодуляции, полностью подавлял помехи от статических и динамических приборов сценического освещения, сохраняя при этом достаточно оперативный ответ на динамичные движения дубинки. Источник жестовой информации, с помощью которого можно было управлять несколькими музыкальными параметрами, использовал также и данные о кровяном давлении.

Интерфейс «Волшебный ковер» ("Magic Carpet") состоял из двух подсистем: ковра, который определял местоположение и давление ног и пары микроволновых датчиков движений, которые реагировали на скорость движений верхней части тела. Десять секунд фактических данных, полученных от этой системы, реагирующей на человека, который обычно идет по диагонали ковра, а затем - отступает, становились основным материалом для последующих преобразований звука. Для каждого звукового события были нанесены специальные обозначения-кружки с пропорциональным радиусом скорости, трансформирующимся в MIDI - материал. Данные показывали движение и отражали динамику шагов. Было вполне ожидаемо, что при шагах в обратную сторону, возможно более высокое давление, они также могли быть более плотно сгруппированы во времени, поскольку «топтание» было, по существу, мгновенным, по сравнению с характером стандартных шагов вперед. Более широкий разброс в данных мог быть следствием того, что тяжелые шаги могли сотрясать напольную плитку, на которую был уложен ковер. В том случае, если по Волшебному ковру двигались два человека, их положение могло быть оценено с помощью простых алгоритмов кластеризации и фильтров, которые согласовывались по принципу совпадения проводов x и y, в пределах одного или двух интервалов сканирования с частотой 60 Гц. Движения верхней части корпуса тела отслеживались двумя микроволновыми датчиками. Необработанный выходной сигнал усиливался выпрямленным фильтром нижних частот с тем, чтобы воспроизводить сигналы с напряжением, пропорциональным общему количеству ощущаемых движений.

Проекционная стена с пятью дальномерами, обнаруживающими людей, находилась во взаимодействии с ансамблем. Три сигнала (количество движение, скорость, триггер, направление) дискретизировались и преобразовывались в непрерывный MIDI-контроллер. В дальнейшем была разработана полностью цифровая версия этого преобразователя сигналов; поскольку частота биений была настолько мала, что она могла быть основана на простом микропроцессоре. Шаги провоцировали низкие гудящие звуки, тембр которых определялся давлением ног и высотой звука, основа которой - местоположение шага. Движение верхней части тела образовывало высокие «звенящие» арпеджио.

Специально разработанная для проекта Оперы Мозга сенсорная система должна была измерять пространство и его заполнение: общее присутствие и положение людей в различных местах зала. С помощью получаемых и обрабатываемых данных, она превращалась в многоканальный гидролокатор-дальномер.

Итак, очевидно, что в проекте Оперы Мозга было представлено множество новых и нетрадиционных интерфейсов, которые были специально созданы для взаимодействия с музыкальной средой. Их формы отличались от традиционных интерфейсов, таких как, клавиатуры, мыши, и т. д., стремясь к созданию гибкой среды, которая была бы построена из этих «умных объектов» и сенсорных пространств, улавливающих и регистрирующих любые виды физической активности или движений, которые способны были бы привести к сложной мультимедийной реакции и создать интересный звуковой результат. Зрители в Опере Мозга были склонны ожидать музыкального отклика от всех находящихся поблизости объектов, впервые увидев новые интерфейсы. Музыкальные сопоставления, выполняемые на интерактивных инструментах, были интуитивно понятны и поощряли творческое любопытство зрителя.

Дизайн этой интерактивной музыкальной среды, сопутствовал процессу динамической адаптации к уровню навыков и стилю участников. Наблюдение за этими процессами представляет безусловный научный интерес. Музыкальные сопоставления и параметрические последовательности в Опере Мозга работали независимо на каждом инструменте. Хотя это и удовлетворяло отдельных исполнителей и зрителей (многие из которых оказались акустически изолированы за счет наушников или нахождения рядом с соответствующими динамиками), в целом звуковое поле в Опере Мозга достигло определенного стохастического (слабо контролируемого композитором) процесса, а творческая энергия хаоса стала неотъемлемой художественной целью Опера Мозга

Маховер изначально стремился к коллективному музыкальному выражению, что в итоге оказалось реализованным, предоставив творческую свободу. Очевидно также, что подобный процесс создавал необходимость разработки специальных механизмов интеграции, в тем, чтобы создать сбалансированное интерактивное пространство между общим и частным художественным проявлением. Было необходимо создать способы координации сетевых аудио ответов, сохраняя при этом детерминированную музыкальную обратную связь на уровне «действие-ответ» для удовлетворения индивидуальных потребностей участников. Хотя концепции взаимодействия перформативности и способов композиторского контроля в Опере Мозга – ограничивались полученными записями на различных интерфейсах: Говорящих деревьях и прочих устройствах.

Говоря о кибер-нарративе в оперном театре, мы можем констатировать, что именно эта идея стала основополагающей для проекта Маховера. Либретто и история Нур Инайят Хан - суфийской мусульманской принцессы и одновременно агента разведки – в данном случае лишь отправная точка сюжета, получившего кибернарративное представление. Эти две линии – трактат «Сообщество разума», стихия творческой энергии реципиента – посетителя звуковой инсталляции, служат основой повествования, в то время как сам сюжет – едва ли прочитывается сквозь путешествие по «дебрям разума».

Выводы из проведенного исследования: современная опера использует кибернарратив как систему коммуникации, в поле которой включаются все новейшие технологии. При этом, размывается содержание оперы, которое оказывается вариативным. В этом есть как положительные, так и отрицательные стороны: вовлеченность публики в творческий процесс, который всячески поощряет в своей концепции Оперы Мозга Тод Маховер, помогает преодолеть пассивное восприятие, однако, композиция перестает быть законченной формой и превращается в открытое произведение – work in progress.