Промпт как новый элемент киноязыка, или как Sora может изменить будущее цифрового кино?

Рахманкулов Богдан Марсельевич ORCID: 0009-0008-0147-7878 аспирант, кафедра рекламы и связей с общественностью, Санкт-Петербургский государственный университет промышленных технологий и дизайна 191186, Россия, г. Санкт-Петербург, ул. Большая Морская, 18 Rakhmankulov Bogdan Marselevich Postgraduate student, Department of Advertising and Public Relations, St. Petersburg State University of Industrial Technologies and Design 191186, Russia, Saint Petersburg, Bolshaya Morskaya str., 18 bogdan.rakhmankulov@gmail.com Другие публикации этого автора

Введение

Кинематограф прошел долгий путь развития от первых «движущихся картинок» до современных блокбастеров с их сложными спецэффектами и глубокими нарративами. В основе этого искусства лежит киноязык. С точки зрения семиотики любой язык традиционно понимается как «естественно возникшая в человеческом обществе и развивающаяся система облеченных в звуковую форму знаковых единиц, способная выразить всю совокупность понятий и мыслей человека, предназначенная прежде всего для целей коммуникации» ^{[1, с. 652]}. Язык кино не является исключением. К. Э. Разлогов отмечает, что кинематограф представляет собой «звукозрительное отражение мира, особым образом структурированное с целью коммуникации, то есть является определенной знаковой системой, аудиовизуальным «языком», а его своеобразие заключается в том, что он «использует в своих проявлениях знаки самой действительности, так называемые культурные коды» ^{[2, с. 16]}. Ключевые элементы киноязыка, такие как кадр и мизансцена, крупность планов и монтаж, движение камеры, цвет и свет, шумы и музыка, были разработаны и совершенствовались на протяжении многих десятилетий. Они образуют сложную систему, с помощью которой кинематографисты могут воздействовать на эмоции зрителя, передавать определенные заложенные автором идеи и создавать художественные миры.

С появлением искусственного интеллекта (ИИ) и его интеграцией в процесс создания фильмов начинается новая эра в киноискусстве. ИИ открывает перед деятелями кино возможности, о которых раньше можно было только мечтать – от автоматизации рутинных задач до генерации уникального контента. Так, нейросети уже давно зарекомендовали себя в качестве помощников в создании цифровых спецэффектов и улучшении графики. По словам специалиста по визуальным эффектам Тима Уэббера, обладателя премии Оскар за лучшие визуальные эффекты («Гравитация»), технологии искусственного интеллекта заложены во многие инструменты кинопроизводства, однако используются они исключительно для «более быстрого достижения творческого результата» ^[3]. Другими словами, искусственный интеллект и нейросети пока не заменяют человека-творца, а лишь помогают ему в достижении творческих идей. Вопрос о том, наступит ли момент, когда ИИ сможет полностью управлять креативными процессами, остается открытым и вызывает оживленные дискуссии среди философов, искусствоведов и культурологов. И. Г. Шестакова приходит к выводу, что пока «в тандеме человек–компьютер вклад человека – креативная составляющая, вклад компьютера – расчет», однако, учитывая колоссальную скорость развития технологий, мы приходим к тому, что необходимость в человеческом разуме для каких бы то ни было существенных задач пропадает ^{[4, с. 58]}. Современные тенденции показывают, что искусство, созданное с помощью нейросетей, открывает новые горизонты в художественной практике, делая технологии не просто инструментом, но и полноценным участником творческого процесса. Это подтверждается исследованиями других авторов, таких как Л. З. Манович ^[5], М. А. Степанов ^[6], Т. Е. Фадеева ^[7], А. А. Дружинина ^[8], которые отмечают роль художников генеративного искусства в развитии культурологических исследований и стимулировании междисциплинарного сотрудничества. Но данная статья раскрывает еще одно направление использования искусственного интеллекта – вклад в развитие современной социокультурной среды через расширение возможностей киноязыка. ИИ становится катализатором создания новых форм визуального нарратива, обогащая культурный ландшафт и предоставляя новые инструменты для исследования многообразия человеческого опыта. Это не только позволяет переосмыслить традиционные подходы к созданию кино, но и открывает двери для инклюзивного и многостороннего диалога в культурной сфере, предлагая новые перспективы для понимания социокультурных процессов в цифровую эпоху. Научная новизна данного исследования заключается не только в анализе потенциала полной автоматизации процесса создания кино, где искусственный интеллект переходит от роли помощника к роли полноценного создателя, но и в обозначении практического применения этих технологий. Это открывает безграничные возможности для экспериментов с нарративом, визуальным стилем и реализацией практически любых идей, которые ранее были ограничены техническими и финансовыми возможностями производства. Так, практическое применение результатов исследования может затрагивать области от разработки новых форм обучения кинематографии до создания фильмов с неограниченным визуальным и нарративным потенциалом, доступного широкому кругу кинематографистов без значительных вложений в производственный процесс. Это также предполагает новый виток развития индустрии виртуальной реальности, где сценарии и визуализации могут создаваться в ответ на взаимодействие пользователя. Кроме того, важным аспектом практического применения является разработка этических и юридических рамок использования ИИ в кинопроизводстве, что требует глубокого понимания взаимодействия между человеком и искусственным интеллектом в процессе творчества.

Нечеловеческая креативность

Современная креативная индустрия демонстрирует растущее внедрение генеративных нейросетей, вызывая дискуссии о природе креативности, традиционно воспринимаемой как исключительно человеческое качество. Все большее обсуждение нечеловеческой креативности в отрасли говорит о том, что следуют ожидать и трансформации представлений о ней. Если раньше креативность была исключительно индивидуальной человеческой характеристикой, то теперь можно рассматривать ее как коллективный процесс, в котором Человек и машина действуют в симбиозе ^[9]. Исторический контекст такого взаимодействия сам по себе не нов. Всегда стоял вопрос о роли машины в жизни человека, но теперь он эволюционировал в противоположный – вопрос о роли человека в мире технологического доминирования ^{[4, с. 46]}.

Сегодня мы стоим на пороге кардинальных изменений и в области кинематографа. Кроме уже нашумевших генеративных нейросетей, способных создавать киноплакаты, делать раскадровки и писать сценарии, на рынке появился новый инструмент будущего цифрового кино – нейросеть от компании OpenAI, способная генерировать видео по текстовом подсказкам, – Sora. Технология предлагает перспективу демократизации процесса создания фильмов, открывая возможности для малых производственных команд производить контент, способный конкурировать с продукцией крупных студий, тем самым расширяя границы традиционного кинопроизводства и предоставляя новые инструменты для креативного выражения. Уже сейчас это подтверждается на практике – режиссер и продюсер Тайлер Перри планировал расширение собственной киностудии стоимостью 800 миллионов долларов, однако после релиза Sora заявил о приостановлении работ на неопределенный срок в целях экономической целесообразности: «Мне больше не нужно ездить по локациям. Если я захочу оказаться в заснеженном Колорадо, я напишу это в тексте. Если мне нужна сцена на Луне, это тоже будет текст, а искусственный интеллект сгенерирует мне все, что нужно. Я могу просто сидеть в офисе и делать все с компьютера, это шокирует. Я обеспокоен тем, что в ближайшем будущем будет потеряно много рабочих мест» ^[10]. Вместе с возможностями приходят и новые вызовы: как прикладные (сокращение рабочих мест и замена специалистов искусственным интеллектом), так и более глубокие вопросы авторства, оригинальности и этические дилеммы вокруг использования машинного обучения в творческих процессах.

Cпоры вокруг генеративных нейросетей

Споры по поводу применения искусственного интеллекта в искусстве и культуре идут уже многие годы, но обычно они оставались в рамках профессионального круга. С усовершенствованием генеративных моделей ИИ эти дискуссии стали множиться в геометрической прогрессии. Одним из последних громких скандалов среди кинематографистов стало применение ChatGPT в написании сценариев. Чат-бот, способный генерировать целые сценарные блоки на основе простых подсказок пользователя, привел к забастовке Гильдии сценаристов США. Кинематографисты становятся все более уязвимыми от искусственного интеллекта, поскольку для студий автоматизированное производство – путь к уменьшению затрат и увеличению прибыли. Эффективность искусственного интеллекта в создании сюжетных линий и написании сценариев в короткие сроки представляет значительное преимущество по сравнению с более затратными традиционными методами. Но пока это все еще невозможно: ChatGPT не может полностью заменить человеческое творчество и глубину мысли, необходимые для создания историй, которые затрагивают эмоции и чувства на глубоком уровне. Хотя он может сгенерировать тексты, основываясь на заданных параметрах, искусственный интеллект все еще ограничен в своей способности понимать нюансы человеческого опыта и культурные контексты, что критически важно для создания значимого кинематографического произведения. Дискуссии о применении ИИ в кинематографе и других областях искусства подчеркивают необходимость баланса между технологическими инновациями и сохранением человеческой уникальности в творческом процессе. Здесь и важна та самая коллективная креативность, о которой писал М. А. Степанов: «В центре внимания современного медиаискусства – не столько научные и технологические возможности и их эксплуатация, сколько внимание к нашему существованию как множеству обществ и существ, человеческих и нечеловеческих, и возможности иметь будущее» ^{[11, с. 93]}. Коллаборация между творческими способностями человека и вычислительными мощностями искусственного интеллекта открывает новые горизонты для инноваций и экспериментов. Это взаимодействие позволяет объединить глубину человеческого понимания эмоций, культурных контекстов и сюжетных арок с эффективностью и скоростью ИИ в обработке и генерации контента. Но вместе с этими возможностями появляются новые вопросы. Может ли быть так, что мы становимся свидетелями стремительного разрушения традиционного кинематографа? Не получится ли так, что человеческое творчество будет затмеваться эффективностью и простотой машин? Профильные специалисты могут оказаться без работы только по тому, что их заменит искусственный интеллект, а само генеративное кино может подорвать традицию внутреннего диалога между творцами, которая обогащала кинематографическое искусство на протяжении всего времени ^[12].

Другим важным вопросом использования генеративных нейросетей (для работы как с текстом, так и аудиовизуальным контентом) является стилизация сгенерированного материала. Так, можно «обучить» искусственный интеллект стилю конкретных авторов, что позволит генерировать новые произведения, имитирующие характерные особенности их творчества. Потенциал злоупотребления такой возможностью очевиден и поднимает важные вопросы об этических и юридических аспектах авторского права и интеллектуальной собственности. Существует необходимость в разработке четких нормативных рамок, которые могли бы регулировать использование таких технологий, защищая права авторов и предотвращая неправомерное использование их творчества. Крайне важно сохранять прозрачность в отношении ресурсов, которые используются для обучения нейросети, но пока ни Sora, ни ChatGPT, ни другие генеративные модели этого не обеспечивают ^{[13, с. 11–14]}. И тем не менее баланс между инновациями и защитой интеллектуальной собственности становится ключевым вызовом в эру цифровизации искусства.

Новый элемент киноязыка – текстовая подсказка

По утверждениям разработчиков Sora, нейросеть «может создавать реалистичные и фантазийные сцены по текстовым подсказкам» ^[14]. Предполагается, что в случае ее полной интеграции в кинопроизводство текстовые подсказки (промпты) могут стать новым элементом киноязыка. Это, в свою очередь, способно радикально трансформировать кинематографическую индустрию, предоставляя режиссерам и сценаристам уникальные инструменты для реализации творческих концепций.

Промпты – это текстовые запросы, которые преобразуются искусственным интеллектом в детализированные визуальные образы и сцены. С их помощью режиссеры и сценаристы могут экспериментировать с сюжетами, персонажами и декорациями, преодолевая прежние ограничения, связанные с производственным бюджетом и техническими возможностями. В результате реализация фантастических миров или точное воссоздание исторических периодов станет значительно проще и доступнее.

Рисунок 1. Кадр из сгенерированного видео по текстовому запросу «Исторические кадры Калифорнии времен золотой лихорадки» (англ. Historical footage of California during the gold rush)

Как уже отмечалось, генерация контента по текстовому запросу является устоявшейся практикой в сфере креативных индустрий. Специалисты активно пользуются генеративными моделями, способными преобразовывать тексты в изображения (Midjourney, DALL-E, Stable Diffusion) и работать в диалоговом режиме на естественном языке, отвечая на вопросы и даже создавая художественные тексты (ChatGPT). Однако Sora представляет собой не просто инструмент творчества. Старший научный сотрудник NVIDIA Джим Фан характеризует новую нейросеть как «симулятор реальных и фантастических миров» ^[15], предлагающий глубокое понимание и моделирование мира, что выходит за рамки обычной генерации контента. В ответ на запрос «Фотореалистичное видео крупным планом двух пиратских кораблей, сражающихся друг с другом, пока они плывут внутри чашки кофе», Sora генерирует 15-секундный видеоролик с высокой детализацией и элементами 3D-графики. Эта нейросеть автоматически моделирует движение жидкостей и реалистично определяет траектории объектов, адаптирует крупность кадров и планы для достижения оптимального визуального восприятия, включая применение эффекта tilt-shift для создания иллюзии миниатюризации сцены.

Рисунок 2. Кадр из сгенерированного видео по текстовому запросу «Фотореалистичное видео крупным планом двух пиратских кораблей, сражающихся друг с другом, пока они плывут внутри чашки кофе» (англ. Photorealistic closeup video of two pirate ships battling each other as they sail inside a cup of coffee)

Кроме того, Sora позволит визуализировать идеи и концепции, которые сложно или даже невозможно было бы реализовать традиционными методами. Это открывает двери для новых визуальных стилей и нарративных техник, расширяя границы кинематографического языка и предлагая зрителям уникальный визуальный опыт. Однако это же ставит и вопрос о роли автора в кинопроизводстве. В мире, где машина может создавать визуальный контент на основе текстовых запросов, определение авторства и творческого вклада становится более сложным. Это вызывает необходимость в новом понимании креативных процессов и отношений между Человеком и машиной в контексте кинематографа.

Будущее кино будет сгенерировано?

Потенциальные дискуссии вокруг новой нейросети Sora также будут затрагивать эти вопросы. Может ли или должен ли искусственный интеллект создавать полноценные фильмы? До недавнего времени этот вопрос даже не стоял, но затем появились генеративные модели, преобразующие текст в видео. Ранние версии таких моделей могли сгенерировать визуальный контент длительностью в несколько секунд – так стали появляться первые ИИ-фильмы. Конечно, до сих пор это можно отнести разве что к экспериментальному кинематографу. В таких работах мы видим массу артефактов, непоследовательность кадров, различия по стилю и многие другие цифровые дефекты. Скорее это не кино, а видео-арт часто с нелинейным сюжетом и без внятного повествования. Так, в начале 2023 года автором данной статьи была сгенерирована серия односекундных эпизодов с помощью китайской генеративной модели ModelScope под общим названием «Мгновение ока». Все эпизоды символизируют разные аспекты жизни, смерти и возрождения и предлагают зрителям аллегорический и визуальный опыт, позволяя интерпретировать каждую секунду по-своему. Визуальная составляющая «Мгновения ока» характеризуется использованием разных цветовых схем и композиций, чтобы передать эмоции и идеи, которые содержатся в каждом эпизоде ^[16]. Такой подход к созданию контента с использованием ИИ уже на начальном этапе не только демонстрирует технические возможности современных генеративных моделей, но и открывает новые перспективы для исследования глубоких философских и эстетических тем через кинематограф.

Рисунок 3. Кадры всех эпизодов «Мгновения ока»

Еще один пример – короткометражный фильм Пола Трилло «Спасибо, что не отвечаешь», сгенерированный в более продвинутой генеративной нейросети Runway Gen-2 ^[17]. В отличие от работы ModelScope, здесь уже куда меньше характерных для нейросетей артефактов и неточностей, однако назвать кадры фотореалистичными и высоко детализированными по-прежнему нельзя. Тем не менее такое сгенерированное кино обладает особой кинематографической эстетикой, характерной для ранних работ нейросетей по генерации статичных изображений (Midjourney,
DALL-E и другие). Это именно то, что делает картину уникальной. Сегодня Midjourney и DALL-E шагнули вперед, их генерации уже достаточно фотореалистичны, а машинных ошибок («багов») в контенте все меньше. Значит, и нейросети для генерации аудиовизуального контента тоже до этого очень скоро дойдут. Впрочем, Sora, про которую мы уже много говорили, сильно приблизилась к действительно кинематографическому качеству. Разработчики из OpenAI отмечают, что в сгенерированном видеоконтенте есть проблемы с отрисовкой движения ног людей и животных, также модель пока может путать пространственные детали (например, право и лево) и тяжело справляется с точным описанием событий, которые происходят в течение времени. Но все это только на стадии бета-тестирования. В контексте быстрого развития технологий можно ожидать, что все недостатки будут преодолены в обозримом будущем. Учитывая темпы прогресса в области искусственного интеллекта, эволюция генеративных моделей обещает достижение уровня фотореализма и кинематографической детализации, которые сделают их неотличимыми от реального видеоконтента. Это открывает новые горизонты для экспериментов в кинематографе и предлагает перспективы для еще более тесного взаимодействия между технологиями ИИ и творческим процессом.

Рисунок 4. Кадр из фильма «Спасибо, что не отвечаешь»

Заключение

Интеграция технологии Sora и аналогичных инструментов на основе искусственного интеллекта в кинопроизводство открывает новые горизонты для креативной индустрии, трансформируя не только методы создания контента, но и само представление о киноязыке. Промпт, как его возможный будущий элемент, предоставляет уникальную возможность для экспериментирования с нарративами и визуализацией, демократизируя процесс творчества и делая его доступным широкому кругу создателей. Это обещает революцию в индустрии, авторстве и производстве контента, выдвигая на первый план творческий симбиоз Человека и машины. Еще в середине 2010-х Т. Эльзессер и М. Хагенер отмечали, что цифровизация приведет к тому, что «в ближайшее десятилетие теория кино изобретет себя заново, несмотря на то, что кино – каким мы знали его на протяжении первых 100 лет его истории – продолжает существовать в виде «изнутри-наружу», как хозяин нового “паразита”» ^[18]. С появлением новых генеративных технологий необходимость в «изобретении себя заново» становится еще более актуальной для индустрии. Ведь вместе с возможностями появляются вопросы о будущей роли человека в творчестве, необходимости баланса между инновациями и защитой интеллектуальной собственности, а также об этических и юридических аспектах использования ИИ в искусстве. Основные кризисы могут развернуться во взаимодействии ключевых элементов кинопроизводства, таких как сценарий, операторская работа, взгляд режиссера и игра актеров, подчеркивая значимость синергии между человеческим и нечеловеческим. Будущее кинематографа будет определяться на стыке технологических инноваций и философских размышлений о природе творчества и культурной ценности искусства, подчеркивая важность коллаборации и взаимопонимания между человеком и искусственным интеллектом для преодоления вызовов и использования возможностей, предоставляемых этим новым рубежом.