Сравнительный анализ генерации заголовков к научным работам на русском и английском языках с использованием больших языковых моделей

Тимохов Алексей Дмитриевич ORCID: 0000-0003-4626-9120 магистр; кафедра Языкознания и переводоведения; Московский городской педагогический университет 105064, Россия, г. Москва, Малый Казённый пер., 5Б Timokhov Alexey Dmitrievich Graduate student, Department of Linguistics and Translation Studies, Moscow City University 5B Maly Kazenniy Lane, Moscow, 105064, Russia timokhovad@mgpu.ru Другие публикации этого автора

Введение

Стремительное развитие технологий искусственного интеллекта (ИИ) в последнее десятилетие, особенно в области генеративного ИИ, существенно меняет подходы к обработке и созданию текстов. Современные большие языковые модели, обученные на обширных корпусах данных, демонстрируют способность создавать связные тексты на основе кратких запросов на естественном языке, что открывает перспективы их использования при подготовке научных публикаций ^[21]. Уже предпринимаются попытки задействовать подобные модели для автоматической генерации отдельных фрагментов научных статей, однако данные эксперименты также сопровождаются дискуссиями о пользе и возможных рисках такого подхода ^{[20, 21]}. Ряд исследователей рассматривает генеративный ИИ как эффективный вспомогательный инструмент, способный значительно оптимизировать подготовку статьи к публикации на разных этапах ^{[10, 12]}, тогда как другие указывают на потенциальные и уже существующие проблемы достоверности и соблюдения академической этики, связанные с использованием больших языковых моделей в научной деятельности ^{[17, 19]}. Несмотря на неоднозначность оценок, очевидно, что потенциал ИИ в научно-исследовательской деятельности чрезвычайно высок, а задача объективной оценки возможностей и ограничений таких моделей остаётся актуальной и требует тщательного изучения.

Важным элементом научной статьи является заголовок, который выполняет информационную и номинативную функции, обозначая содержание работы и привлекая внимание целевой аудитории. Эффективный заголовок должен быть одновременно кратким и информативным, отражать тему исследования и соответствовать стилевым и жанровым нормам конкретного академического дискурса. При этом требования к оформлению заголовков могут существенно различаться в русскоязычной и англоязычной научных традициях — подобные различия могут представлять особую сложность для больших языковых моделей, преимущественно обученных на англоязычных корпусах, и проявляться в стилистических и структурных отклонениях при автоматической генерации русскоязычных заголовков.

Несмотря на растущий интерес к использованию генеративного ИИ при написании научных работ, отмечается сравнительно малое количество публикаций, посвящённых данной проблеме ^{[12, 18, 19]}, а существующие исследования рассматривают преимущественно англоязычные публикации и моделями семейства GPT, не уделяя при этом достаточного внимания рассмотрению иных языков и моделей. Настоящая работа призвана восполнить указанный пробел, предлагая сравнительный анализ возможностей различных общедоступных больших языковых моделей (ChatGPT, Gemini, Mistral, Llama) при генерации заголовков к научным публикациям на русском и английском языках с помощью zero-shot промптинга.

Цель исследования заключается в выявлении и сравнении характерных особенностей генерации заголовков научных статей на русском и английском языках, а также оценке соответствия полученных результатов стилистическим и жанровым нормам академического дискурса. Практическая значимость работы обусловлена возможностью использования её выводов в качестве рекомендаций для исследователей, стремящихся эффективно задействовать генеративные языковые модели при подготовке научных текстов.

Заголовок как малый жанр академического дискурса

Академический дискурс понимается как совокупность коммуникативных практик научного сообщества, включающая письменные и устные жанры, предназначенные для передачи нового знания в институциональных рамках ^{[2, 3, 8]}. Для письменного академического дискурса характерны черты функционального научного стиля, такие как объективность изложения, логичность и аргументированность, стандартизированная структура текстов и соблюдение определённых языковых норм (терминологичность, отсутствие разговорной лексики, регламентированная риторика и др.) ^{[1, 3]}. Несмотря на универсальность научной рациональности, национальные академические традиции накладывают свой отпечаток на стиль и организацию научных текстов.

Так, англоязычный академический дискурс исторически приобрёл статус глобального стандарта научного общения ^[13] и характеризуется жёстко регламентированной структурой изложения, тенденцией к лаконичности, информационной насыщенности, а также нацеленности на новизну и применимость результатов исследования, что связано с высокой конкуренцией в рамках международного научного сообщества, требующей от исследователя демонстрации преимуществ и ценности предлагаемого исследования по сравнению с существующими работами ^{[5, 9]}. В свою очередь, данное требование обусловливает характерную для англоязычного академического дискурса ориентацию на читателя, что достигается за счёт структурной предсказуемости, акцента на представлении результатов, а также общей «прозрачности» исследования. Напротив, русскоязычный академический дискурс описывается исследователями как преимущественно ориентированный на автора: автор самостоятельно определяет объём и способ подачи информации, полагаясь на интуитивное членение текста и подготовленность читателя. Для русскоязычного академического дискурса характерны высокая формальность и обезличенность изложения, допускается импликация части содержания без явного разъяснения — предполагается, что заинтересованный читатель сумеет восполнить недостающие звенья через обращение к фоновым знаниям или сторонним источникам ^[6]. Тем не менее, в последние годы под влиянием международных стандартов наблюдается сближение русскоязычного академического дискурса с англоязычными жанровыми традициями ^[9].

Заголовок научной работы относится к категории малоформатных текстов в рамках академического дискурса, выполняющих вспомогательную функцию. К малоформатным текстам относят вторичные тексты, создаваемые на основе полного научного произведения и передающие его содержание в сжатом, свёрнутом виде ^[7]. Помимо заголовков, к малоформатным текстам относятся аннотации, резюме, тезисы и другие краткие формы представления исследования. Заголовок научной работы традиционно рассматривается как максимально сжатое наименование исследования, призванное сообщить основную тему и фокус работы. Заголовок при этом является наиболее кратким из подобных жанров: его объем обычно не превышает одной строки текста, а содержание ограничивается ключевыми концептами работы. Основная функция заголовка — информативная: он обозначает предмет исследования и тем самым обеспечивает первичную идентификацию работы. Заголовок должен максимально точно указывать на проблему или тему, рассматриваемую в статье, возможно — на объект и (реже) метод или результат, если это увеличивает информативность заголовка. Требования к заголовку обусловлены общими принципами научного стиля и коммуникативной достаточности: он должен быть кратким, понятным для целевой аудитории и корректно отражающим содержание статьи. В то же время заголовок должен включать в себя основные ключевые слова исследования (термины, обозначающие главный объект или процесс), что повышает его индексируемость в научно-информационных системах. Жанровая специфика заголовка заключается также в его фиксированном положении — в самом начале статьи — и единственности: у научной публикации может быть только один заголовок, поэтому он концентрирует в себе максимум содержания при минимальном объёме текста. Таким образом, заголовок выступает своеобразным компромиссом между краткостью и информативностью, а его создание требует учёта как лингвостилистических норм, так и жанровых конвенций академического дискурса.

Применение больших языковых моделей для генерации научного текста

Большие языковые модели — это класc нейросетевых моделей, предназначенных для обработки и генерации текстов, отличительной чертой которых является значительный объём параметров и обучение на масштабных корпусах текстовых данных. Благодаря современным архитектурным решениям и объёмам обучения большие языковые модели обладают способностью решать широкий круг задач по работе с естественным языком без специализированной донастройки под каждую задачу. Иными словами, одна и та же предобученная языковая модель может применяться для перевода, ответа на вопросы, суммаризации или написания текстов и т.д., получая для этого лишь соответствующий запрос (инструкцию) на естественном языке (в противовес программным языкам).

Прорыв в области языкового моделирования связан с появлением архитектуры «трансформера», предложенной в работе Attention Is All You Need ^[11]. Трансформер реализует механизм самовнимания (от англ. self-attention), позволяющий модели эффективно учитывать контекст на любых расстояниях в тексте и обрабатывать слова параллельно. На основе трансформеров были построены архитектуры, давшие начало современным большим языковым моделям. В частности, модель BERT от Google представляет собой двунаправленный трансформер-энкодер, обучающийся восстанавливать пропущенные слова по контексту слева и справа ^[14]. Модели типа GPT (Generative Pre-Trained Transformer), разработанные OpenAI, используют трансформер-декодер и авторегрессионный принцип генерации текста: они предсказывают каждое следующее слово на основе всех предыдущих. Такой подход оказался особенно успешен для порождения связного текста, что и демонстрируют языковые модели вроде ChatGPT. Существенной особенностью данных моделей является способность продолжать текст в заданном стиле: получив начальную фразу или инструкцию, они статистически достраивают наиболее вероятное продолжение, обучаясь на множестве примеров человеческой речи. Исследования показывают, что с ростом размера модели её языковые способности качественно возрастают — вплоть до появления зачатков комплексного рассуждения и обобщения знаний при достижении определённого масштаба параметров ^[15].

Вместе с тем применение генеративного ИИ при написании научных работ сопряжено с рядом ограничений. Исследователи отмечают, что тексты, генерируемые языковыми моделями, могут содержать фактически неверную или искажённую информацию, требовать стилистической доработки и адаптации под требования конкретного издания или научной области ^{[21, 22]}. Активно обсуждаются также и этические аспекты использования ИИ — в частности, подчёркивается необходимость прозрачности в указании вклада модели и опасения относительно возможного снижения качества научных работ при чрезмерном использовании ИИ ^[21].

Взаимодействие пользователя с большой языковой моделью происходит через формулирование запроса на естественном языке, который получил название промпт (от англ. prompt — подсказка). Промпт позволяет не только задать модели задачу, но также указать контекст и стиль требуемого ответа — формулировка запроса во многом определяет качество результата генерации. В отличие от традиционного программирования, где поведение системы задаётся соответствующим кодом, промптинг предполагает «программирование примером» — пользователю достаточно описать, что требуется от модели, а та сама генерирует решение, опираясь на вероятностные закономерности языка и накопленные знания. Данный подход породил целый ряд стратегий эффективного составления запросов для достижения нужного результата ^[16]. В контексте данной работы интерес представляет генерация посредством zero-shot промптинга, при котором модель получает содержательную формулировку задания (предложить заголовок по краткому описанию исследования) без предоставления ожидаемых примеров генерации, что позволяет оценить базовые способности модели на основе её предобученных знаний и языковой интуиции, а также даёт возможность выявить «академическую компетентность» конкретной модели.

Материал исследования и отбор моделей

Для проведения эксперимента были выбраны общедоступные большие языковые модели, соответствующие следующим критериям:

• Уникальность архитектуры, исключающая дублирование используемых алгоритмов и позволяющая охватить широкий спектр различных систем;
• Доступность без оплаты и/или необходимости оформления подписки;
• Наличие пользовательского веб-интерфейса без необходимости (до)настройки модели;
• Возможность получения ответа на русском и английском языках в академическом стиле для проведения анализа в многоязычном контексте;
• Отсутствие существенных ограничений на объём сообщений для включения достаточной информации о публикациях.

Из начальной выборки, в которую вошли модели Azure (от Microsoft), ChatGPT (от OpenAI), Gemini (от Google), Claude (от Anthropic), Mistral (от Mistral AI), Llama (от Meta), Pi (от Infection AI), Grok (от xAI), были отобраны четыре модели: ChatGPT (модель ChatGPT-4o mini), Gemini (модель Gemini 1.0 Pro), Mistral (модель Mistral Large) и Llama (модель Llama 3 80B). Данные модели различаются архитектурой и объёмом обучающих данных, что предположительно оказывает влияние на стиль и качество генерируемых ими текстов.

Материалом исследования послужил корпус из 100 случайно отобранных научных публикаций, находящихся в открытом доступе и поровну представляющих русскоязычный и англоязычный академический дискурс. В выборку вошли статьи по различным исследовательским направлениям (гуманитарным и техническим), что обеспечило разнообразие тематик для проверки универсальности моделей и/или возможных дисциплинарных предпочтений. Отобранные исследования, а также полученные в ходе работы результаты генерации, составили «нейрокорпуса», доступный для ознакомления и верификации полученных результатов ^[4].

Процедура генерации и анализа

Для создания равных условий всем моделям предъявлялся идентичный запрос на соответствующем языке, содержащий указание на тематику работы на основе текста краткого текста аннотации, составленной автором (авторами) оригинальной работы, и просьбу предложить несколько вариантов заголовков. Так, для русскоязычных работ каждая модель получала следующее сообщение: «Я пишу научно-исследовательскую работу, посвящённую [краткое описание темы]. Предложи мне 3 варианта названия данной статьи на русском языке.» Аналогично для англоязычных работ: "I'm in the process of writing a research paper on [краткое описание темы]. Can you suggest three possible titles I could use for my study?" Краткое описание темы формулировалось на основе аннотации статьи таким образом, чтобы отразить основную проблематику исследования. Так как генерация выполнялась посредством zero-shot промптинга, то есть без предоставления примеров правильных или исходных заголовков, важным условием было отсутствие в запросе прямого указания желательного формата ответа — модели самостоятельно определяли стиль и формат предлагаемых вариантов. Каждый диалог производился в отдельном чате, чтобы исключить влияние предыдущих ответов на поведение моделей. В результате по каждой исходной работе было получено 12 альтернативных заголовков (по 3 от каждой из 4 моделей), а общий объем сгенерированных заголовков составил 600 русскоязычных и 600 англоязычных наименований.

Каждый сгенерированный заголовок впоследствии оценивался на соответствие теме и содержанию статьи, жанровым требованиям (лаконичность, наличие ключевых терминов), а также наличие отклонений (например, фактические искажения, употребление некорректной лексики или стилистические отклонения). Сопоставление результатов проводилось в двух разрезах: между моделями (выявление типичных черт и отличий в стилях заголовков, предложенных каждой моделью) и между языками (сравнение характерных особенностей генерирования заголовков на русском и английском). Полученные результаты генерации позволяют выявить различные стилистические тенденции, характерные для каждой из моделей.

Отметим, что указание отобранных работ как собственных в данных запросах приводится для моделирования реальной ситуации, в которой авторы рассматриваемых работ могли бы обратиться к языковым моделям на этапе подготовки статей к публикации, а также для упрощения запроса и процесса генерации, не являясь претензией на авторство оригинальных публикаций.

Сравнительный анализ результатов генерации

Все рассмотренные модели успешно справляются с задачей генерации трёх вариантов заголовков для каждого запроса, при этом предлагаемые варианты в целом отличаются достаточной степенью стилистического соответствия жанровым и дискурсивным требованиям и верно отражают содержание отобранных работ. Тем не менее степень соответствия сгенерированных заголовков требованиям академического дискурса варьируется в зависимости от модели и языка. В целом для англоязычных статей модели предлагают варианты, ближе подходящие к оригинальным заголовкам по стилю и содержанию, тогда как для русскоязычных работ отмечается обратная тенденция: предлагаемые варианты, хотя и соответствуют называемым исследованиям, лишь частично соотносятся с авторскими заголовками. Вместе с этим генерируемые заголовки в ряде случаев отличаются от исходных бОльшим объёмом: модели часто прибегают к использованию более распространённых заголовков, включающих не только указание темы исследования, а дополнительные формулировки, содержащие указания на второстепенные аспекты исследования. В частности, это обусловлено стремлением моделей к использованию двухчастной структуры заголовка и включению второстепенной информацию, необходимой для её построения, при генерации на обоих языках. В Таблице 1 приведены примеры результатов генерации заголовков, демонстрирующие ориентацию моделей ChatGPT и Mistral на детализацию заголовков с акцентом на методах и объектах (авторах и произведениях) исследования, Gemini — на использование образных формулировок («миры фэнтези») и более простую структуру, Llama — на облегчённые формулировки при умеренной степени детализации (см. Таблицу 1). Подобная тенденция отражает стремление моделей предоставить пользователю как можно больше информации несмотря на её нерелевантность для заголовка. Обратная ситуация наблюдается реже: в отдельных случаях модели, напротив, способны предложить более короткий и ёмкий заголовок по сравнению с авторским, устраняя избыточные подробности оригинала. Подобные случаи характерны преимущественно для содержательных англоязычных заголовков — для данных работ модели успешно предлагают более короткие варианты, содержательно соответствующие авторским заголовкам. Примеры генерации в Таблице 2 демонстрируют, как модели предлагают более лаконичные формулировки для работы с объёмным оригинальном заголовком, сохраняя ключевую информацию об исследовании при опущении вспомогательных деталей (например, тип исследования, источник полученных данных и география проведения), что позволяет добится большей компактности (см. Таблицу 2).

Таблица 1. Примеры заголовков, предложенных языковыми моделями к оригинальной работе «Проблема классификации фэнтези-произведений».

Таблица 2. Примеры заголовков, предложенных языковыми моделями к оригинальной работе "A survey of speech and language therapists' opinions of bilingualism and the advice they give to bilingual families of children with speech, language and communication needs – a comparative study between the UK and Singapore".

Несмотря на ряд общих черт в подходах всех моделей, проведённый анализ показывает, что каждая из четырёх моделей придерживается собственной стратегии при генерации заголовков. ChatGPT последовательно демонстрирует высокий уровень детализации и старается отразить наибольший объём информации на основе описания исследования. Заголовки от ChatGPT, вне зависимости от языка генерации, зачастую состоят из двух частей (разделяемых с помощью двоеточия) или распространённой конструкции, включающей ключевые термины, объекты или отдельные аспекты исследования, упомянутые в запросе. Примеры, представленные в Таблице 3, иллюстрируют стремление ChatGPT перечислить максимально возможное количество информации: модель указывает как основную тему исследования, так и дополнительные категории, что усложняет заголовок и, в частности, связано с используемой моделью структурой построения заголовка (см. Таблицу 3). Подобный подход обеспечивает высокую информативность и точность, однако в некоторых случаях может приводить к перегруженности заголовков второстепенными деталями. Тем не менее, несмотря на высокую степень детализации, предлагаемые ChatGPT заголовки в целом не превышают объём заголовков, предлагаемых другими моделями, а при генерации заголовков к работам по техническим дисциплинам в ряде случаев не превышают и объём авторского заголовка (см. Таблицу 4). Таким образом, стиль ChatGPT можно охарактеризовать как информативный, однако потенциально избыточный.

Таблица 3. Примеры заголовков, предложенных моделью ChatGPT к оригинальной работе «Как русскому понять француза и японца, или условия успешности межкультурного общения».

Таблица 4. Примеры заголовков, предложенных моделью ChatGPT к оригинальной работе «Концепция дидактических принципов формирования информационной образовательной экосреды учебного заведения».

Модель Gemini, напротив, демонстрирует склонность к генерации более кратких и целостных, нераспространённых формулировок, придерживаясь умеренного уровня детализации. Модель также стремится к воспроизведению двухчастной структуры построения заголовка, однако включает в его основу преимущественно ключевые аспекты темы, опуская при этом менее релевантную второстепенную информацию. Характерной особенностью Gemini по сравнению с остальными моделями выступает творческий подход к подаче материала: модель частотно использует метафорические обороты и конструкции для выражения ключевой цели исследования, стараясь при этом придерживаться нейтральных формулировок в рамках научного стиля. Анализ предлагаемых заголовков показывает, что модель стремится воспроизводить распространённые в англоязычной научной практике клише, адаптируя их под особенности конкретного исследования. Тем не менее характер предлагаемых формулировок в ряде случаев сближает их с научно-популярным стилем, особенно при генерации на русском языке, для которого не характерны подобные модели построения заголовков. Так, примеры, приведённые в Таблице 5, демонстрируют реализацию творческого подхода посредством использования метафорического описания явления эвфемизации («новые маски старых слов»), а также риторического вопроса о торжестве политкорректности — обе формулировки выходят за рамки привычного академического тона, однако являются допустимыми в рамках научной коммуникации (см. Таблицу 5). Аналогичной стратегии модель придерживается и при генерации на английском языке, предлагая заголовки с ярко выраженными образными оборотами для работ как по гуманитарным, так и по техническим направлениям (см. Таблицы 6, 7). Общий стиль Gemini можно определить как ясный и строго выдержанный в терминологическом отношении, однако обладающий выраженными элементами научно-популярной стилистики.

Таблица 5. Примеры заголовков, предложенных моделью Gemini к оригинальной работе «Эвфемизация речи на современном этапе развития английского языка».

Таблица 6. Примеры заголовков, предложенных моделью Gemini к оригинальной работе "The use of monomodal and multimodal metaphors in advertising Jordanian and American food products on Facebook: A comparative study".

Таблица 7. Примеры заголовков, предложенных моделью Gemini к оригинальной работе "Algorithmic bias in artificial intelligence is a problem—And the root issue is power".

Модель Mistral занимает промежуточную позицию, и по уровню детализации её подход соотносится с подходом ChatGPT: модель старается включить в заголовок максимальное количество информации о содержании статьи и придерживается аналогичной структуры построения заголовка, однако в целом избегает избыточной конкретики. Например, Mistral реже, чем ChatGPT, раскрывает дополнительные аспекты рассматриваемой в исследовании проблемы или объекты исследования, ограничиваясь наиболее значимыми или обобщая их, а также прибегает к менее распространённым структурам. Так, в примерах, представленных в Таблице 8, модель включает все компоненты исследования, содержащиеся в исходном запросе, придерживаясь достаточно высокого уровня детализации, однако предлагает менее содержательные структуры, чем модели ChatGPT и Llama (см. Таблицу 8). Таким образом, стиль Mistral можно охарактеризовать как умеренно детализированный и информативный.

Таблица 8. Примеры заголовков, предложенных моделями ChatGPT, Mistral и Llama к оригинальной работе «Иерархическая структура способов применения чат-ботов при автоматизации построения индивидуальных образовательных траекторий».

Модель Llama придерживается смешанного подхода и ориентируется на ясность изложения при соблюдении основных особенностей научного стиля, демонстрируя при этом различный уровень детализации в зависимости от конкретного исследования. В большинстве рассмотренных случаев заголовки, предлагаемые Llama, используют характерную для англоязычного дискурса структуру при генерации на обоих языках и представляют собой распространённую формулировку основных аспектов работы или рассматриваемой проблемы, что приводит к перегруженности заголовков (см. Таблицу 9). В то же время предлагаемые моделью варианты в ряде случаев отличаются лаконичностью и краткостью по сравнению с вариантами других моделей (см. Таблицы 1, 10). Несмотря на различия в подходах, модель не допускает смысловых искажений при генерации, однако особенности её стиля обусловливают необходимость тщательной проверки предлагаемых вариантов с точки зрения полноты передачи информации.

Таблица 9. Примеры заголовков, предложенных моделью Llama к оригинальной работе «Англоязычный текстовый принт как продвигающий текст».

Таблица 10. Примеры заголовков, предложенных языковыми моделями к оригинальной работе «Математическое моделирование — важнейший этап формирования математической грамотности в условиях запросов современного общества».

При анализе русскоязычных и англоязычных заголовков также представляется возможным выделить ряд характерных различий. Как указывалось, для английских статей модели чаще предлагают заголовки, близкие к оригинальным: отмечаются случаи, когда как минимум один из трёх сгенерированных заголовков демонстрирует значительное сходство с исходным вариантом автора работы, что свидетельствует о том, что модели успешно интерпретируют особенности исследования (см. Таблицу 11). Более того, отмечается, что модели проявляют более творческий подход в генерации отдельных фрагментов английских заголовков, что не выявляется при генерации на русском языке. Так, ChatGPT сохраняет строгую академическую структуру и придерживается устоявшихся в академическом дискурса оборотов (например, "Bridging the Gap" или подобные сочетания, частотно используемые авторами англоязычных работ), тогда как общая направленность на творческий подход и метафоричность, выявленные в заголовках, предлагаемых Gemini на русском языке, сохраняются и в английским вариантах. Вместе с тем смещение на метафоричность проявляется и в заголовках, предлагаемых Mistral, однако данная модель в меньшей степени прибегает к использованию художественных образов и опирается преимущественно на использование аллитерации на основе ключевой проблемы исследования ("Subtitling Swearing", "Mood and Meaning", "Declaratives of Division", "Comparative Creativity"). В то же время творческий подход к генерации проявляется и в отдельных заголовках, предлагаемых Llama: модель также добавляет художественные фрагменты с использованием метафоры и аллитерации, что не отмечалось при генерации на русском языке ("Coherence through Inference", "Savoring the Metaphor", "Feeding the Imagination", "Tasting the Difference", "Lost in Translation", "The Creative Paradox", "The Dual-Edged Sword of Artificial Intelligence", "Beyond the Binary", "Scalpel Meets Algorithm"). Предположительно, подобный сдвиг связан с различиями между русскоязычным и англоязычным академическим дискурсом, для которого в большей степени характерно использование популярных формулировок, чем для работ на русском языке, а выявленная разница позволяет говорить о том, что все языковые модели (кроме Gemini) учитывают данную разницу.

Таблица 11. Примеры заголовков, предложенных языковыми моделями к оригинальной работе "Situating artificial intelligence in organization: A human-machine relationship perspective".

В то же время для работ на русском языке модели редко воспроизводят авторские формулировки — практически все предложенные варианты существенно отличаются от оригинальных заголовков по структуре. Как представляется, данное различие обусловлено стремлением моделей к построению заголовков к работам на русском языке по шаблонам, типичным преимущественно для английского языка (что в свою очередь обусловлено преобладающим объёмом обучающих данных на английском языке), а также вариативностью способов построения заголовка научной работы на русском языке. Так, например, двухчастная структура заголовка с двоеточием, разделяющим заголовок на две части, используется моделями значительно чаще, чем это характерно для оригинальных публикаций на русском языке, не отражая таким образом полный спектр возможных вариантов заголовков. Так, 555 заголовков, сгенерированных на русском языке, построены в соответствии с двухчастной структурой, при этом одинаковую склонность к её использованию демонстрируют все модели: 143 заголовка от ChatGPT, 142 от Gemini, 127 от Mistral и 143 от Llama, тогда как в оригинальных заголовках статей она встречается лишь 3 раза. Вместе с тем типичные для русскоязычного академического дискурса конструкции типа «‎К вопросу о…» «Проблема…», «А как Б» и синтаксические конструкции со вставками типа «(на материале…)», встречающиеся в том числе в заголовках отобранных в ходе исследованиях работ, воспроизводятся моделями лишь в единичных случаях. Так, из числа всех сгенерированных на русском языке заголовков конструкция «К вопросу о…» лишь единожды предлагается моделями ChatGPT и Gemini и не встречается среди вариантов, предложенных другими моделями:

- «Интертекстуальные стратегии в русской прозе XXI века: к вопросу о функциональном значении (ChatGPT, к оригинальной работе «Интертекстуальность художественного дискурса как реализация культурно-интеграционных процессов»)»;

- «К вопросу о формировании единого информационного пространства в образовании: стандарты и архитектура (Gemini, к оригинальной работе «Стандарты цифровой образовательной среды и архитектура данных в образовании»)».

Конструкция «Проблема…» также используется всего один раз и предлагается только моделью Gemini к оригинальной работе «Концепция дидактических принципов формирования информационной образовательной экосреды учебного заведения»:

- «Единая информационная экосистема учебного заведения: проблема унификации и пути ее решения на примере IT-лаборатории».

Впрочем, в отдельных случаях модели успешно демонстрируют способность к адаптации предлагаемых заголовков на русском языке и отказываются от двухчастной структуры заголовка, предлагая цельные утверждения, в большей степени соответствующие русскоязычному академическому дискурсу. Так, конструкция «А как Б» встречается значительно чаще и используется всеми моделями: ChatGPT и Mistral используют её в 10 и 12 предложенных заголовках соответственно, тогда как Gemini и Llama прибегают к её употреблению в два раза чаще, предлагая 23 и 22 заголовка с подобной структурой соответственно и демонстрируя вкупе с отмеченными выше особенностями большее стремление к соответствию нормам русскоязычного академического дискурса.

Наряду с этим, в предлагаемых моделями вариантах на русском языке отмечаются частотные нарушения в соблюдении буквенного регистра, связанные с использованием заглавных букв для первого слова после двоеточия. Так, ChatGPT следует данному правилу примерно в половине случаев, используя как прописные, так и строчные буквы для первых слов. Вместе с тем для одной из публикаций ChatGPT были предложены заголовки, полностью воспроизводящие английский заголовочный регистр с использованием прописных букв для всех самостоятельных слов, что нехарактерно для русского языка и недопустимо в рамках академической коммуникации. В то же время Mistral чаще соблюдает нормы русской стилистики, хотя воспроизведение английской капитализации также встречается во многих из предложенных заголовков. Примечательно, однако, что модели Gemini и Llama наиболее последовательно соблюдают правила русского языка и предлагают заголовки с нерелевантной капитализацией лишь для двух и одной работ соответственно.

Результаты

Полученные результаты свидетельствуют о том, что большие языковые модели могут быть использованы в качестве инструментов для генерации заголовков научных работ. Все четыре модели продемонстрировали способность верно интерпретировать исходный запрос и формулировать на его основе релевантные заголовки, соответствующие теме исследования и отвечающие основным жанровым требованиям научного заголовка. Вместе с тем сравнительный анализ позволил выявить характерные особенности генерации каждой модели, а также выделить ряд недостатков.

В первую очередь, модели демонстрируют различия в степени детализации, информативности и образности заголовков. ChatGPT характеризуется высоким уровнем детализации и терминологической точности, стремясь максимально полно отразить содержание исследований, однако в отдельных случаях включает второстепенные детали, что может требовать дополнительной доработки посредством исключения наименее релевантных аспектов. При генерации на русском языке модель демонстрирует определённую адаптивность, избегая образных конструкций, характерных для её англоязычных текстов, однако в целом следует англоязычной модели построения заголовков и часто допускает ошибки в капитализации, не соответствующей русскоязычной традиции. Отмечается, что в ряде случаев предлагаемые моделями заголовки отличаются высоким объёмом за счёт воспроизведения двухчастной структуры заголовка и включению второстепенной информацию, необходимой для её построения. Для заголовков Gemini свойственна умеренная детализация с акцентом на новизне и значимости работы, сопровождмаемая выраженной склонностью к использованию метафорических и образных формулировок, более характерных для научно-популярного дискурса. Тем не менее, для достижения полного соответствия требованиям академического дискурса предложенные Gemini заголовки нередко требуют стилистической доработки. Модель также склонна воспроизводить двухчастные конструкции заголовков, типичные для англоязычной традиции, хотя в ряде случаев удачно адаптирует формулировки к особенностям русскоязычного научного стиля. Mistral, аналогично ChatGPT, демонстрирует высокий уровень информативности и детализации, акцентируя внимание на наиболее значимых аспектах исследования и стараясь избегать явной перегрузки заголовков второстепенной информацией. Вместе с этим модель последовательно применяет англоязычную двухчастную структуру заголовков независимо от языка генерации, однако использование образных конструкций наблюдается только при генерации на английском языке. Модель Llama реализует смешанный подход, в котором отсутствуют чётко выраженные стилистические или структурные предпочтения. В большинстве случаев модель генерирует подробные и терминологически точные заголовки, однако также предлагает значительно более лаконичные варианты, сохраняя при этом достаточный уровень информативности. Несмотря на частое использование англоязычной двухчастной структуры, Llama периодически демонстрирует успешную адаптацию формулировок к нормам русского языка, а также избегает характерных для других моделей ошибок в капитализации. При этом при генерации на русском языке Llama чаще остальных моделей прибегает к использованию структур, характерных для русскоязычного дискурса, хотя и прибегает преимущественно к использованию двухчастных заголовков.

Помимо этого, обнаружено явное влияние языковой специфики на результаты генерации. Русскоязычным авторам, применяющим большие языковые модели, необходимо учитывать, что модели склонны воспроизводить шаблоны, характерные для англоязычной академической традиции, но менее релевантные для научных работ, написанных на русском языке. В частности, это касается модели организации заголовка, а также ряда различий в капитализации: предлагаемые языковыми моделями заголовки, хотя и не содержат содержательных искажений, могут требовать замены на конструкции, более релевантные в рамках русскоязычного академического дискурса. При генерации на английском языке модели, напротив, качественно воспроизводят формат научного заголовка, что, предположительно, объясняется преобладанием английского языка в обучающих данных моделей. Таким образом, при генерации на русском языке предлагаемые заголовки нуждаются в дополнительной правке для приведения их в соответствие с устоявшейся практикой и принятыми моделями построения заголовков.

В ходе анализа также выявлено незначительное влияние специфики научной области на результат генерации. Так, для статей по гуманитарным дисциплинам модели предлагают более стилистически разнородные заголовки, тогда как для работ по техническим дисциплинам наблюдается меньшая вариативность: все модели предлагают достаточно схожие заголовки, в ряде случаев близкие или совпадающие с оригинальными, что может объясняться более стандартизированным языком технических исследований и однозначностью терминологии.

Наконец, подчеркнём, что в рамках настоящего исследования генерация заголовков рассматривался исключительно посредством zero-shot промптинга, нацеленного на выявление базового поведения моделей и не предполагающего использования более продвинутых методов промптинга. Тем не менее, очевидно, что качество генерируемых языковыми моделями заголовков можно повысить с помощью более продвинутых техник, в частности, с помощью итеративного промптинга, позволяющего пользователю проанализировать первоначальные варианты и продолжить взаимодействие с моделью, указав на выявленные недостатки исходного результата и попросив об их устранении. В рамках проведённого эксперимента была проведена ограниченная проверка итеративного промптинга, и предварительные наблюдения демонстрируют, что дополнительные подсказки позволяют устранить часть отмеченных недостатков. Так, модели успешно исправляют неверный регистр в заголовках на русском языке и избавляются от нерелевантных деталей, сохраняя при этом присущие им сильные стороны (см. Таблицы 12, 13). Подробное рассмотрение эффективности более сложных методов промптинга представляется перспективным направлением дальнейших исследований.

Таблица 12. Примеры исходных заголовков, предложенных языковыми моделями к оригинальной работе «К вопросу о переосмыслении и терминологизации лексических единиц cartoon, gag».

Таблица 13. Примеры обновлённых заголовков, предложенных языковыми моделями к оригинальной работе «К вопросу о переосмыслении и терминологизации лексических единиц cartoon, gag».

В совокупности, полученные результаты демонстрируют значительный потенциал генеративного ИИ в качестве вспомогательного инструмента исследователя. Использование нескольких моделей и сопоставление предложенных ими заголовков может быть продуктивной стратегией: получив различные варианты, автор вправе выбрать наиболее удачный или самостоятельно сформулировать окончательный вариант, комбинируя удачные решения разных моделей, что позволяет ускорить процесс создания эффективного заголовка при соблюдении ответственного подхода и понимании специфики каждой модели.

Заключение

Проведённое исследование подтверждает, что большие языковые модели способны генерировать заголовки к научным публикациям на русском и английском языках при корректной постановке задачи. Полученные с помощью zero-shot промптинга варианты заголовков в большинстве случаев соответствуют тематике и в целом удовлетворяют жанровым требованиям академического дискурса. В то же время сравнительный анализ показал, что каждая модель обладает собственным «стилем» генерации: так, ChatGPT и Mistral стремятся максимально полно отразить содержание исходной работы, Gemini предлагает более сжатые и нередко креативные формулировки, Llama стремится к созданию более коротких и простых (с терминологической точки зрения) заголовков. К преимуществам ChatGPT следует отнести терминологическую точность и высокую степень информативности и академичности, однако данная модель демонстрирует склонность к перенасыщению заголовков второстепенными аспектами. Mistral также придерживается высокого уровня информативности, однако в ряде случаев избегает излишней конкретики; вместе с тем предлагаемые данной моделью формулировки могут отличаться менее высокой степенью терминологичности. Gemini последовательно предлагает связные и лёгкие для восприятия заголовки, акцентируя внимание на значимости и новизне исследования, но часто выходит за рамки строго академического тона за счёт образности и широкого использования метафорических формулировок. Llama создаёт лаконичные заголовки, акцентируя внимание на основной цели работы, однако для модели характерны терминологические и стилистические упрощения, которые приводят к отклонениям от норм академического дискурса. Кроме того, выявлено, что при генерации на русском языке модели демонстрируют влияние норм англоязычного дискурса, проявляющееся в воспроизведении двухчастной формы заголовков и неправомерной капитализации слов, что свидетельствует о недостаточной степени адаптации больших языковых моделей к особенностям русского языка.

В заключение, проведённое исследование подтверждает, что большие языковые модели способны выступать эффективными помощниками при подготовке научно-исследовательской работы к публикации, генерируя варианты заголовков, соответствующие конкретному исследованию. Тем не менее, именно исследователь решает, какой из предложенных языковыми моделями вариантов действительно отражает его работу и отвечает всем критериям научной коммуникации. Использование генеративного ИИ требует понимания его специфики и ограничений, однако соблюдение этого условия открывает новые возможности для оптимизации процесса написания научных работ.