Аннотация: В данной статье исследуется полимодальное пространство в области вычислительной креативности у нейронных сетей. Объектом нашего исследования является полимодальная среда, которая объединяет в себе ряды разнородных кодов для выражения общей идеи, а предметом – возможность создания полимодального цифрового искусства с помощью текстового и голосового промта в генеративной сети Midjourney. Цель исследования – доказать, что вычислительная креативность у машин может быть обнаружена и описана по результатам итераций в процессе создания изображений, что в свою очередь позволит говорить о сложной полимодальной системе как об отдельной цифровой категории полимодальности. Задачи, которые решались в рамках данного исследования: 1) обоснование использования термина полимодальный в контексте вычислительной креативности в цифровом искусстве нейронных сетей; 2) проведение серии тестов с генеративной сетью Midjourney для возможности описания вербально-визуального контента; 3) анализ и выведение алгоритма создания изображения в условиях суммаризации данных и трансформационной креативности.  Нами был использован метод сплошной выборки при сборе языковых единиц по мере их встречаемости; контекстный анализ для систематического описания присутствующих вербальных и невербальных компонентах. Необходимо было провести эксперимент с генеративной сетью Midjourney для выявления закономерностей при создании графического пространства, а далее сравнить и сопоставить результаты итераций с оригинальным изображением. Научная новизна заключается в отсутствии исследований о полимодальном пространстве в контексте нейронных сетей и их генеративной способности. В ходе проведённого эксперимента нами были получены следующие результаты: термин «полимодальность» в контексте генеративной сети Midjourney и её «цифрового искусства» обусловлен наличием трёх каналов: вербального, визуального и голосового (звукового); тесты показали, что способность нейронной сети к созданию изображений посредством промта находится на высоком уровне, однако прослеживаются грубые технические ошибки в системе, которые не позволяют пользователям в полной мере приблизиться к желаемому результату при генерации изображения; суммаризация данных позволяет говорить о наличии черт вычислительной креативности у генеративных сетей, так как в ходе создания изображения возникают новые образы (идеи), ранее не предполагаемые пользователем.

Abstract: This article deals with the polymodal space in the field of computational creativity in neural networks. The object of research is a polymodal environment that integrates a series of heterogeneous codes to express a common idea, and the subject is the possibility of creating polymodal digital art using text and voice prompts in the generative network Midjourney. The aim of the study is to prove that computational creativity can be detected and described based on the results of iterations in the process of creating images, which in turn will allow us to talk about a complex polymodal system as a separate digital category of polymodality.
We used the continuous sampling method when collecting linguistic units as they occur in the analysis process; contextual analysis for the systematic identification and description of the verbal and non-verbal contexts. It was necessary to conduct an experiment with the generative network Midjourney to identify patterns in the creation of a graphic space through text and voice data input, and then compare and contrast the results of iterations with the original image.
The scientific novelty consists in the lack of research on the polymodal space in the context of neural networks and their generative ability. During the experiment, we obtained the following results: the term ‘polymodality’ in the context of the generative network Midjourney and its ‘digital art’ is due to the presence of three channels: verbal, visual and voice; tests have shown that the ability of the neural network to create images through prompt is at a high level, however, there are rough technical errors that do not allow users to fully approach the desired result when they generate an image; the summarization of the data allows us to talk about the presence of features of computational creativity in generative networks.

Аннотация: Предметом исследования является содержание личностных смыслов в вопросах или вопросах-приветствиях в контексте английских формул общения. Объект исследования – способность голосового помощника Siri к имитации спонтанного диалога с человеком и адаптация искусственного интеллекта к естественной речи. Цель исследования – выявление особенностей и уровня языковых навыков Siri в процессе коммуникации с пользователями на английском языке. Подробно рассматриваются такие аспекты темы, как проблема понимания, существующая в двух типах коммуникации: 1) между человеком и человеком; 2) между машиной и человеком; использование искусственным интеллектом устойчивых формул общения в ответах по теме «Как дела?»; определение уровня и речетворческого потенциала в ответных репликах голосового помощника. В работе использовались следующие методы: описательный, сравнительно-сопоставительный, контекстуальный, сплошная выборка и лингвистический эксперимент. Научной новизной является то, что проблемы, связанные с пониманием личностных смыслов у голосового помощника Siri, никогда подробно не исследовались в филологии и лингвистике. В связи с широким распространением и использованием голосовых систем в разных сферах социальной и общественной жизни возникает необходимость анализа ошибок в речи и описания коммуникативных неудач в диалогах между голосовыми помощниками и пользователями. Полученные материалы позволят определить роль и место искусственного интеллекта в XXI веке и сделать прогнозы о его дальнейшем языковом развитии. Основными выводами проведённого исследования являются: 1) машина не способна генерировать ответы, опираясь на опыт прошлых впечатлений; 2) отклонения от норм английского речевого этикета в ответных репликах Siri незначительные, но часто приводят к коммуникативным неудачам; 3) в ответных репликах обнаружено одностороннее кодирование личностного смысла: от машины к человеку, но не наоборот.

Abstract: The subject of the study is the content of personal meanings of greeting questions in the context of English communication formulas of Siri. The object of the study is the ability of the voice assistant to simulate spontaneous dialogue with a person and the adaptation of artificial intelligence to natural speech. The purpose of the study is to identify the features and level of Siri's language skills in the process of communicating with users in English. Such aspects of the topic as the problem of understanding that exists in two types of communication are considered in detail: 1) between a person and a person; 2) between a machine and a person; the use of stable communication formulas by artificial intelligence as responses to the question «How are you?»; determining the level and speech-making potential in the responses of the voice assistant. The following methods were used in the research: descriptive, comparative, contextual, comparative method and linguistic experiment. The scientific novelty is that the problems related to encoding the personal meanings of the Siri voice assistant have never been studied in detail in philology and linguistics. Due to the prevalence use of voice systems in various spheres of social and public life, there is a need to analyze errors in speech and describe communication failures in dialogues between voice assistants and users. The main conclusions of the study are: 1) the machine is not able to generate answers based on the experience of past impressions; 2) deviations from the norms of English speech etiquette in Siri's responses are insignificant, but often lead to communicative failures; 3) the one-sided encoding of personal meaning was found in the responses: from the machine to the person, but not vice versa.

Аннотация: В статье описывается проведенный анализ «спонтанного» диалога двух российских и зарубежных голосовых систем. Исследование является актуальным, так как в настоящее время не изучены возможности коммуникации введения «спонтанного» диалога русскоязычными и зарубежными голосовыми системами. Объектом исследования стали две русскоязычные системы – Алиса компании Яндекс и голосовой ассистент приложения Сбербанк и англоязычные голосовые системы – Siri компании Apple и Google Assistant, в том числе их русскоязычные версии. Выбор обусловлен их популярностью у носителей русского языка, которая определялась по запросам данных голосовых помощников в сети Интернет. Период выборки составил с 1 января 2021 года по 20 декабря 2022 года. Русскоязычные и англоязычные голосовые системы были выбраны методом сплошной выборки. В статье делаются выводы в том числе и о коммуникативных возможностях русскоязычных голосовых систем и зарубежных аналогов с встроенной функцией перевода на русский язык. Научной новизной является анализ «спонтанной» диалогической речи и анализ её соответствия нормам современного русского языка. В конце статьи подводятся итоги анализа зарубежных небольшим количеством вариантов фраз и выражений для генерации ответа пользователю на основании материалов из корпуса русского языка. Также, не редко выявляются черты машинного перевода в зарубежных голосовых аналогах в отличие от русскоязычных голосовых помощников.

Abstract: The article describes the analysis of the "spontaneous" dialogue of two Russian and foreign voice systems. The study is relevant because the possibilities of communication of the introduction spontaneously dialogue between Russian-speaking and foreign voice systems have not been studied by now. The objects of research have become two Russian-speaking systems – Alice by Yandex, voice assistant application by Sberbank; two English voice systems – Siri by Apple Ink and Google Assistant, including their Russian version. The choice is due to their popularity among native speakers of the Russian language, which was determined by the requests of these voice assistants on the Internet. The sampling period was from January 1, 2021 to December 20, 2022. Russian-speaking and English-speaking voice systems were selected by a continuous sampling method. The article draws conclusions, including about the communicative capabilities of Russian-speaking voice systems and foreign analogues with a built-in translation function into Russian. The scientific novelty is the analysis of "spontaneous" dialogic speech and the analysis of its compliance with the norms of the modern Russian language. At the end of the article there are results of the analysis of foreign phrases and expressions with a small number of variants are summarized to generate a response to the user based on materials from the corpus of the Russian language. Also, it is not uncommon to identify features of machine translation in foreign voice analogues, unlike Russian-speaking voice assistants.