Сравнительная эффективность больших языковых моделей в генерации аннотаций к научным работам: zero-shot и итеративный промптинг

Тимохов Алексей Дмитриевич ORCID: 0000-0003-4626-9120 магистр; кафедра Языкознания и переводоведения; Московский городской педагогический университет 105064, Россия, г. Москва, Малый Казённый пер., 5Б Timokhov Alexey Dmitrievich Graduate student, Department of Linguistics and Translation Studies, Moscow City University 5B Maly Kazenniy Lane, Moscow, 105064, Russia timokhovad@mgpu.ru Другие публикации этого автора

Введение

За последнее десятилетие интенсивное развитие технологий искусственного интеллекта, особенно в области генеративных систем, радикально трансформировало подходы к созданию и обработке текстов. Современные большие языковые модели, обученные на обширных корпусах данных, способны порождать связные тексты по коротким запросам на естественном языке, открывая новые перспективы их применения при подготовке научных публикаций ^[23]. Уже предпринимаются попытки использовать подобные модели для автоматической генерации отдельных элементов научных статей, однако данные эксперименты также сопровождаются дискуссиями о их пользе и возможных рисках ^{[22, 23]}. Ряд авторов рассматривает генеративный ИИ как эффективный инструмент, способный существенно оптимизировать разные этапы подготовки публикации ^{[14, 12]}, тогда как многие исследователи обращают внимание на потенциальные и уже существующие проблемы достоверности генерируемого контента и соблюдения академической этики при его использовании ^{[19, 21]}. Несмотря на разноречивые оценки, не вызывает сомнения значительный потенциал технологий на основе ИИ в научно-исследовательской деятельности, что делает особенно актуальным тщательное изучение их возможностей и ограничений.

Важным элементом научной статьи является аннотация, поскольку именно она в сжатом виде отражает содержание работы, сообщает о сути исследования и привлекает внимание к его результатам ^[10]. Правильно составленная аннотация не только информирует читателя о сути проведённого исследования, но и способствует целевому позиционированию работы в научном поле, повышая её заметность и влияние ^[11]. Аннотация характеризуется логичностью и объективностью изложения, стандартизированной композицией, насыщенностью научной лексикой при отсутствии образно-эмоциональной экспрессии. Её основная функция состоит в информировании коллег о содержании статьи и ориентации читателя в потоке публикаций, однако параллельно аннотация выполняет и рекламную функцию, продвигая работу в профессиональном сообществе ^[10].

Строго регламентированный характер аннотации как жанра ставит вопрос о том, насколько успешно современные модели на основе генеративного ИИ способны справиться с её созданием. Применение больших языковых моделей в данной сфере до настоящего времени остаётся исследованным лишь фрагментарно: отмечается сравнительно малое количество работ, посвящённых использованию ИИ для подготовки элементов научных статей ^{[14, 20, 21]}. Лишь в отдельных публикациях предпринимаются попытки продемонстрировать потенциал больших языковых моделей в качестве инструментов генерации отдельных малоформатных текстов ^[24], однако в фокусе внимания находятся тексты преимущественно англоязычного академического дискурса, в качестве инструмента генерации которых рассматривается исключительно семейство языковых моделей GPT. Таким образом, исследование возможностей больших языковых моделей в генерации научных аннотаций приобретает особую актуальность и практическую значимость.

Цель настоящего исследования состоит в проведении сравнительного анализа эффективности общедоступных больших языковых моделей и выявлении потенциала генеративного ИИ как инструмента генерации аннотаций на русском и английском языках. Особое внимание уделяется сопоставлению двух методов взаимодействия с моделями: zero-shot промптинга (единоразовый запрос без примеров и без последующих уточнений) и итеративного промптинга (последовательное взаимодействие, когда первоначальный ответ модели анализируется пользователем и запрос уточняется для улучшения результата). Подобный подход позволяет не только оценить способность моделей генерировать аннотации, соответствующие жанровым и стилистическим требованиям, но и проследить, в какой степени итеративное взаимодействие повышает точность, полноту и стилистическую адекватность аннотаций. Теоретическая значимость исследования связана с уточнением возможностей больших языковых моделей в научно-исследовательской деятельности, а практическая — с оценкой возможностей и ограничений конкретных моделей и методик их использования для автоматизации работы исследователя.

Научная аннотация как малый жанр академического дискурса

Академический дискурс определяется как совокупность коммуникативных практик научного сообщества, включающая письменные и устные жанры, предназначенные для передачи нового знания в институциональных рамках ^{[2, 3, 8]}. Для письменных форм академических текстов характерны особенности функционального научного стиль, проявляющиеся в объективности, логичности и аргументированности изложения, а также в стандартизированной композиции и соблюдении определённых языковых норм: интенсивном употреблении терминологии, отсутствии разговорных оборотов, регламентированных риторических формулировок и др. ^{[1, 3]}. При этом несмотря на универсальность научной рациональности, национальные академические традиции накладывают свой отпечаток на организацию научного текста и его стилистику.

Так, англоязычный академический дискурс, обладающий статусом мирового стандарта научного общения ^[15], характеризуется чётко регламентированной структурой изложения, стремлением к лаконичности, высокой информационной насыщенностью и ориентацией на новизну и прикладную значимость результатов, что является следствием высокой конкуренции учёных и необходимости демонстрации преимуществ нового исследования перед существующими работами ^{[5, 9]}. Данные факторы формируют ориентированность текстов на читателя за счёт предсказуемой структуры, акцента на представлении результатов и общей «прозрачности» изложения работы. Напротив, русскоязычный академический дискурс традиционно описывается как ориентированный на автора: исследователь самостоятельно определяет объём и способ подачи информации, полагаясь на интуитивное членение текста и подготовленность коллег-читателей. Для русскоязычного академического дискурса характерны высокая формальность и обезличенность изложения, допускающие частичную импликацию содержания без явного объяснения — предполагается, что заинтересованный читатель самостоятельно восполнит недостающие звенья на основе фоновых знаний или обращения к первоисточникам ^[6]. Тем не менее под влиянием международных стандартов в последние годы отмечается тенденция сближения норм русскоязычного академического дискурса с англоязычными жанровыми традициями ^[9].

Научная аннотация относится к категории малоформатных текстов в рамках академического дискурса, выполняющих вспомогательную функцию. К малоформатным текстам относят вторичные тексты, создаваемые на основе полного научного произведения и передающие его содержание в сжатом, свёрнутом виде ^[7]. Помимо аннотации, к малоформатным текстам относятся заголовки, резюме, тезисы и другие краткие формы представления исследования. Аннотация отражает ключевые элементы исследования — тему, цель, методы, результаты и выводы — тем самым воспроизводя в миниатюре структуру самой статьи (формат IMRaD) ^[11]. Её основная функция — информативная: предоставить потенциальному читателю (или индексирующей системе) достаточное представление о том, что сделано в работе и к каким выводам пришёл автор. При этом аннотация должна быть краткой (как правило, 150–250 слов) и одновременно максимально содержательной и точной.

Жанровая специфика аннотации обуславливает ряд лингвостилистических особенностей данного текста. Лексически для аннотации характерно обилие терминологических выражений, клишированных сочетаний, лексических единиц с абстрактной семантикой, а также использование аббревиатур, которые в совокупности указывают о принадлежности информации к определённой специальной области ^[10]. Грамматически в аннотации преобладают конструкции настоящего времени, составные именные сказуемые и простые глагольные сказуемые, а также конструкции с использованием страдательного залога (особенно в русском языке: «проведен анализ…», «выявляется влияние…») либо нейтрально-безличные обороты, позволяющих избежать использование местоимений 1 и 2 лица. Для английских аннотаций более характерно использование действительного залога с указанием субъекта действия (чаще всего самих авторов с помощью местоимения we либо конструкции the paper/research — например, we propose…, the paper examines…), что отражает особенности английского академического стиля ^[9]. Так, например, если в русском тексте типично начинать аннотацию с помощью страдательных оборотов вроде «Статья посвящена…», то в английском эквиваленте чаще встречаются действительные конструкция типа We aim to… или безличные типа This paper aims to… ^[9]. Однако несмотря на данные различия, в обоих языках текст аннотации стремится к предельной информативности и ясности. Строгая логическая организация текста достигается следованием стандартному порядку: сначала формулируются тема и/или проблема, затем цель и актуальность исследования, далее кратко обозначаются методология и основные результаты работы, и в заключение — указываются главные выводы работы.

Таким образом, аннотация представляет собой самостоятельный вторичный текст, кратко выражающий содержание научной статьи. Её качественное написание требует соблюдения баланса между краткостью и полнотой: опуская второстепенные детали оригинального исследования, аннотация должна сохранить его смысловое единство и отразить научную значимость и применимость полученных результатов. Высокая нормированность жанра облегчает восприятие аннотации специалистами и позволяет унифицировать представление исследований в наукометрических базах. Эти же свойства жанра предъявляют и чёткие требования к любому инструменту автоматической генерации аннотаций.

Использование больших языковых моделей для генерации научного текста. Стратегии эффективного взаимодействия

Большие языковые модели представляют собой класc нейросетевых систем, предназначенных для обработки и генерации текстов, отличающиеся большим числом параметров и обучением на масштабных корпусах текстовых данных. Благодаря современным архитектурным решениям и объёмам обучения большие языковые модели способны решать широкий спектр задач обработки естественного языка без специализированной донастройки под каждую задачу. Иными словами, одна и та же предобученная языковая модель может использоваться для перевода, ответа на вопросы, суммаризации или написания текстов и т.д. — достаточно задать ей соответствующую инструкцию на естественном языке (в противовес программным языкам).

Революционным этапом в языковом моделировании стало введение архитектуры «трансформера», предложенной в работе Attention Is All You Need исследователями из Google ^[13]. В основе трансформера лежит механизм самовнимания (от англ. self-attention), позволяющий эффективно учитывать контекстную информацию на любых расстояниях в тексте и обрабатывать элементы последовательности параллельно. На основе трансформера были созданы различные архитектуры, давшие начало современным большим языковым моделям: например, двунаправленный трансформер-энкодер BERT от Google, обучающийся восстанавливать пропущенные слова по контексту слева и справа ^[16], и генеративные трансформеры типа GPT (Generative Pre-Trained Transformer) от OpenAI, использующие трансформер-декодер и действующие по авторегрессионному принципу, последовательно предсказывая следующее слово на основе уже сгенерированного текста. Подобный подход продемонстрировал высокую эффективность в создании связных текстов, что отчётливо показывают модели вроде ChatGPT: получив начальную фразу или инструкцию, модель статистически генерирует наиболее вероятное продолжение, обучаясь на множестве примеров человеческой речи. Исследования также демонстрируют, что по мере увеличения размеров модели её языковые способности существенно улучшаются — вплоть до появления зачатков комплексного рассуждения и обобщения знаний при достижении определённого масштаба параметров ^[17].

Вместе с тем применение генеративного ИИ при подготовке научно-исследовательских работ сопряжено с рядом ограничений. Исследователи отмечают, что тексты, генерируемые большими языковыми моделями, могут содержать фактические неточности или искажения информации, а также требовать последующей стилистической доработки и адаптации к требованиям конкретного издания или научной области ^{[23, 24]}. Параллельно обсуждаются и этические аспекты использования ИИ: подчёркивается необходимость прозрачного указания вклада модели в создание работы и выражаются опасения по поводу возможного снижения качества публикаций при чрезмерной автоматизации ^[23].

Взаимодействие пользователя с большой языковой моделью осуществляется через текстовый запрос на естественном языке — промпт (англ. prompt — подсказка). С помощью промпта пользователь формулирует задачу модели и задаёт контекст и стиль предполагаемого ответа — именно формулировка запроса во многом определяет качество сгенерированного текста. В отличие от традиционного программирования, при котором поведение системы задаётся определённым программным кодом, при промптинге применяется принцип «программирования примером»: пользователю достаточно описать требуемую задачу на естественном языке, а модель на основе накопленных данных и вероятностных закономерностях языка генерирует решение. Данный подход породил широкий спектр стратегий построения эффективных запросов для повышения качества генерации ^[18]. Так, приведение модели к пошаговому рассуждению через специальный запрос существенно повышает точность решения сложных задач (англ. chain-of-thought prompting) за счёт экспликации промежуточных шагов вывода моделью, тогда как приёмы ролевого промптинга (задание модели определённой роли, например, «Ты преподаватель математики, и тебе нужно объяснить») помогают получать более точные и стилистически однородные ответы, так как модель ограничивает стиль и содержание рамками заданной роли. К базовым стратегиям промптинга также относятсяzero-shot промптинг (модель получает только инструкцию или вопрос без дополнительных примеров решения задачи) и few-shot промптинг (в запрос включается несколько примеров, позволяющих направить модель на требуемый формат ответа) ^[17].

В контексте данной работы интерес представляет генерация посредством zero-shot промптинга с последующей доработкой первоначального результата с помощью итеративного промптинга. При первом обращении модель получает содержательную формулировку задания (предложить аннотацию по краткому содержанию исследования) без предоставления ожидаемых примеров генерации, что позволяет оценить базовые способности модели на основе её предобученных знаний и языковой интуиции, а также даёт возможность выявить «академическую компетентность» конкретной модели. Затем, на основе анализа результатов первичной генерации, модель получает уточняющий запрос с указанием на выявленные недостатки и просьбой о переработке текста, изменении стиля изложения и т.д. — в результате, учитывая новое указание вместе с предыдущим контекстом диалога, модель имеет возможность сгенерировать исправленную версию первоначального текста. При этом что в существующей литературе метод итеративного уточнения описания задачи также рассматривается как способ повысить надёжность моделей, особенно для сложных творческих задач ^[18].

Материал исследования и отбор моделей

Для проведения эксперимента были выбраны общедоступные большие языковые модели, соответствующие следующим критериям:

• Уникальность архитектуры, исключающая дублирование используемых алгоритмов и позволяющая охватить широкий спектр различных систем;
• Доступность без оплаты и/или необходимости оформления подписки;
• Наличие пользовательского веб-интерфейса без необходимости (до)настройки модели;
• Возможность получения ответа на русском и английском языках в академическом стиле для проведения анализа в многоязычном контексте;
• Отсутствие существенных ограничений на объём сообщений для включения достаточной информации о публикациях.

Из начальной выборки, в которую вошли модели Azure (от Microsoft), ChatGPT (от OpenAI), Gemini (от Google), Claude (от Anthropic), Mistral (от Mistral AI), Llama (от Meta), Pi (от Infection AI), Grok (от xAI), были отобраны четыре модели: ChatGPT (модель ChatGPT-4o mini), Gemini (модель Gemini 1.5 Flash), Mistral (модель Mistral Large) и Llama (модель Llama 3.3 70B). Данные модели различаются архитектурой и объёмом обучающих данных, что предположительно оказывает влияние на стиль и качество генерируемых ими текстов.

Отметим, что на момент проведения исследования выбранные модели не поддерживали прямой загрузки документов и не были способны переходить по внешним ссылкам на отобранные публикации, а также испытывали сложности при обработке больших объёмов информации, передаваемой в рамках одного запроса. В этой связи было принято решение отказаться от прямого использования полных текстов публикаций и прибегнуть к отбору и предварительной подготовке ключевых фрагментов информации из отобранных статей для передачи моделям в составе запроса.

Материалом исследования послужил корпус из 100 случайно отобранных научных публикаций, находящихся в открытом доступе и поровну представляющих русскоязычный и англоязычный академический дискурс. В выборку вошли статьи по различным исследовательским направлениям (гуманитарным и техническим), что обеспечило разнообразие тематик для проверки универсальности моделей и/или возможных дисциплинарных предпочтений. Для каждой статьи были подготовлены краткие резюме по ключевым разделам (введение, методы, результаты, выводы). Зачем данная информация предоставлялась моделям в качестве основы для генерации аннотации. Подобное решение позволяет имитировать ситуацию, при которой модель ассистирует автору, уже имеющему готовый текст исследования и желающему ускорить процесс подготовки публикации. Отобранные исследования, а также полученные в ходе работы результаты генерации, составили «нейрокорпуса», доступный для ознакомления и верификации полученных результатов ^[4].

Этап 1: zero-shot генерация аннотаций

На первом этапе каждой модели для каждой статьи был задан стандартизированный запрос, включающий название статьи, указание написать аннотацию заданного объёма (до 250 слов) с перечислением необходимых структурных элементов (проблема, цель, актуальность, методы, результаты исследования), указание о необходимости соблюдения требований научного стиля, а также подготовленный фрагмент содержания работы в формате IMRaD. Ниже приведён пример шаблона запроса для аннотаций на русском и английском языках:

«Я пишу научную статью на тему [краткое описание темы]. Помоги мне написать аннотацию к данной статье на русском языке. В аннотации должна быть указана проблема исследования, цель и актуальность работы, ход исследования (включающий выполняемые задачи и применяемые методы), результаты исследования. Аннотация должна быть написана с учётом особенностей научного стиля речи русского языка одним абзацем объёмом до 250 слов. Вот некоторые фрагменты работы, которые содержат необходимую информацию об исследовании. [текст краткого содержания статьи в соответствии со структурой IMRaD]».

"I'm in the process of writing a research paper titled [краткое описание темы]. Please help me write an abstract for it. This should concisely describe the research problem, objectives and relevance, methodology (including steps taken and methods used), and results in a single paragraph, following the conventions of academic style, and not exceeding 250 words. Here are some parts of my research that contain all the necessary details. [текст краткого содержания статьи в соответствии со структурой IMRaD]"

Каждая модель получила идентичный по структуре и объёму запрос, а каждый диалог производился в отдельном чате, чтобы исключить влияние предыдущих ответов на поведение моделей. Таким образом, в результате zero-shot генерации было получено 400 аннотаций (по 1 на каждую статью от 4 моделей), который затем были проанализированы на соответствие жанровым требованиям и сравнивались между собой для выявления характерных черт генерации рассматриваемых моделей.

Отметим, что указание отобранных работ как собственных в данных запросах приводится для моделирования реальной ситуации, в которой авторы рассматриваемых работ могли бы обратиться к языковым моделям на этапе подготовки статей к публикации, а также для упрощения запроса и процесса генерации, не являясь претензией на авторство оригинальных публикаций.

Этап 2: итеративное улучшение (итеративный промптинг)

На втором этапе для каждой из моделей проводилась доработка ранее полученных аннотаций посредством уточняющих запросов. В ходе анализа текстов, полученных при zero-shot генерации, были выделены следующие распространённые недостатки, на устранение которых были направлены последующие запросы:

● Стилевые и терминологические отклонения от норм академического дискурса.

● Логические несоответствия или размытость структуры.

● Избыточная информация, перегружающая аннотацию второстепенными деталями, либо, наоборот, опущение важных сведений.

● Для русскоязычных текстов — влияние стиля англоязычного дискурса.

Уточнённые промпты формулировались индивидуально для каждой модели с учётом присущих ей недостатков. Например, для модели ChatGPT, которая продемонстрировала склонность к генерации чрезмерно подробных описаний, дополнительный запрос акцентировал внимание на достижении лаконичности и устранении второстепенных деталей («Не мог бы ты переработать текст аннотации, сделать его более стройным и менее детализированным?»); для Gemini — требование придать тексту более строгий академический характер («Не мог бы ты переработать текст аннотации и сделать его более стройным?»); для Mistral и Llama — просьба повысить степень строгости текста и улучшить качество изложения для повышения степени терминологичности («Не мог бы ты переработать текст аннотации и сделать его более стройным, строгим и академичным?»). Формат итеративного взаимодействия предполагал, что модели видят ранее сгенерированную аннотацию (в контексте диалога) и просьбу по её доработке. В результате каждая модель генерировала новые версии аннотаций для всех 100 работ. Полученные тексты были сопоставлены с исходными (zero-shot) вариантами, что позволило оценить степень улучшения и характер изменений.

Zero-shot промптинг: сравнительный анализ моделей

Анализ аннотаций, полученных от моделей в режиме zero-shot генерации, подтвердил, что все четыре инструмента в целом успешно справляются с соблюдением ожидаемой структуры научной аннотации и отражением основных элементов исследования — во всех случаях модели указывают необходимую ключевую информацию о каждом этапе работе, что свидетельствует о наличии у них понимания жанрового шаблона аннотации, вероятно усвоенного при обучении на массивах научных текстов. Тем не менее, полученные результаты позволяют выявить заметные стилистические и содержательные различия в полученных текстах аннотаций.

Модель ChatGPT продемонстрировала тенденцию к максимально подробному изложению и высокой степенью детализации. Сгенерированные ею аннотации, как правило, оказываются наиболее содержательными по объёму (в некоторых случаях приближаясь к заданному ограничению в 250 слов, хотя и не нарушая его) и содержат развёрнутое описание как целей, так и методов и результатов исследования — например, в некоторых случаях модель может предлагать необоснованно детализированные рассуждения по отдельным выводам (см. Таблицу 1). Помимо этого, ChatGPT отличается детальным перечислением применяемых методик, иногда включая в текст аннотации даже те аспекты, которые не играют первостепенной роли — например, конкретные примеры, инструменты или приёмы, которые могут вводиться как в формате полноценного предложения, так и в скобках внутри более содержательных фрагментов текста, что приводит превышению объёма сегмента, посвящённого описанию методов (см. Таблицу 1). Вместе с тем представляется интересным, как модель демонстрирует соблюдение требуемой структуры аннотации, избегая при этом эксплицитного указания некоторых из аспектов, например, актуальности, демонстрируя адаптацию под особенности конкретной работы. Аналогичный подход модель демонстрирует и при генерации аннотаций на английском языке, сохраняя высокую степень информативности и терминологичности предлагаемых текстов, которые, несмотря на следование структуре IMRaD и строгий академический стиль изложения с использованием соответствующих клише, содержат развёрнутые примечания о предпосылках или контексте исследования и подробное изложение выделенных по итогам исследования стратегий (см. Таблицу 3). С одной стороны, рассматриваемый подход обеспечивает высокую информативность — читатель получает максимум сведений о проделанной работе; с другой стороны, указание второстепенных аспектов исследования и включение в текст аннотации конкретной информаций об отдельных фрагментах полученных результатах смещает акцент с ключевых выводов работы. В то же время стилистически тексты ChatGPT соответствуют академическому регистру: модель активно использует релевантные академические клише, соблюдает объективный тон и корректно вводит терминологию, относящуюся к аннотируемой работе. Значимым положительным наблюдением является также отсутствие у аннотаций ChatGPT фактических искажений: благодаря тому, что модели был предоставлен контекст статьи, она не выходила за рамки заданной информации и не добавляла вымышленных сведений. В целом, zero-shot аннотации от ChatGPT можно охарактеризовать как полноинформативные, однако в некоторых случаях перегруженные второстепенной информацией и требующие соответствующей правки автором.

Модель Gemini, напротив, проявила склонность к более компактному изложению работ. Аннотации, предложенные Gemini, чаще оказывались несколько короче среднего объёма и фокусировались на ключевой информации, избегая излишней детализации. Так, для большинства статей модель предлагала более лаконичные формулировки проблемы и цели исследования, указывала основную методологию (избегая изложения отдельных метода или представляя их в виде обобщённых классов) и описание результатов, не углубляясь в перечисление отдельных этапов, числовых показателей и т.д. (см. Таблицу 3; модель частично опускает информацию об объёме материала). Вместе с тем стиль Gemini вне зависимости от языка генерации отличает акцентирование внимания на новизне исследования и практической применимости его результатов, которые эксплицитно и подробно излагаются моделью в завершающей части текста и раскрываются даже в тех случаях, когда полученные выводы не представляются в подобном свете в исходном запросе (см. Таблицу 2; модель также два раза подчёркивает актуальность). Помимо этого, в аннотациях также проявляется стремление модели к повышению стройности изложения за счёт использования менее строгих и сложных формулировок по сравнению с другими моделями, однако с сохранением свойственных научному стилю особенностей повествования. При этом отмечается, что общий уровень академичности и строгости предлагаемых аннотаций на английском языке в некоторых случаях превосходит уровень академичности и строгости, которого придерживается модель при генерации на русском языке (см. Таблицу 4). Несмотря на подобные тенденции, структура аннотаций Gemini остаётся логичной, а все ключевые части (проблема, цель, методы, результаты) чётко выделяются и в большинстве случаев вводятся эксплицитно с помощью соответствующих клише. Модель демонстрирует высокую связность текста, плавно переходя от одной части к другой, однако в некоторых случаях проявляет склонность к опущению отдельных фрагментов (например, актуальности) или методик, что может снижать содержательность аннотации (см. Таблицу 4). Тем не менее, модель не допускает фактических ошибок или искажений в предлагаемых аннотациях, а подобные опущения зачастую оказываются обусловлены либо недостаточной релевантностью подобной информации, либо стремлением модели к включению наиболее ценной информации о результатах работы и их значимости в академическом или практическом контексте.

Mistral занимает промежуточную позицию по сравнению с другими рассматриваемыми моделями. По уровню детализации её аннотации сопоставимы с текстами, предлагаемыми ChatGPT: модель также старается раскрыть все аспекты исследования, однако, в отличие от остальных моделей, часто включает формулировки, близкие по содержанию к формулировкам из первоначального запроса. Для модели характерен более алгоритмичной характер организации текста, что также находит отражение и в качестве генерируемых текстов, выдержанных в сугубо нейтральном стиле. При этом Mistral стремится сохранить форму материала первоисточника, часто дословно воспроизводя ключевые фрагменты из исходного запроса; однако специализированную лексику модель в ряде случаев заменяет более общими, семантически эквивалентными номинациями, тем самым снижая терминологическую точность текста. Модель также демонстрирует строгое следование обозначенной в исходном запросе структуре «проблема > цель > методы > результаты», оформляя переходы между ними с помощью стандартных клишированных конструкций, что обеспечивает безошибочное включение всех обязательных элементов, однако создаёт эффект шаблонности и нарушает гибкость изложения (см. Таблицы 1, 2). В английских аннотациях предлагаемая структура построения аннотации сочетается с более свободным синтаксисом: модель использует более разнообразные конструкции и обороты, объединяя различные сегменты (например, проблему и актуальность) в рамках одной конструкции и зачастую избегая эксплицитной формулировки цели, что отвечает требованиям информационной насыщенности англоязычного академического дискурса и соответствует формату IMRaD (см. Таблицы 3, 4). Тем не менее, тексты, предлагаемые моделью, отличаются достаточной связностью и точностью оформления и не содержат явного нарушения научного стиля. К стилистическим недостаткам можно отнести отмеченную повторяемость типовых конструкций, свидетельствующую о чрезмерной шаблонности генерации — модель склонна использовать однотипные клише в различных аннотациях (например, оборот «В статье рассматривается / Статья рассматривает…» встречается почти в каждом тексте, предложенном моделью).

В противоположность остальным моделям, Llama ориентируется на лаконичность и простоту формы — аннотации данной модели в ряде случаев оказываются короче и содержательно проще текстов, предлагаемых другими моделями. Сгенерированные ею аннотации, хотя и соответствуют логике IMRaD, отличаются более простым изложением: исследование описывается нейтральным, понятным языком с минимальной экспрессией, однако модель стремится избегать устоявшихся академических оборотов, часто заменяя их более простыми эквивалентами (см. Таблицы 1-4; в русских аннотациях простота изложения выделяется особенно ярко: 1) «...которая является ключевым навыком для обеспечения качества перевода», «включающих упражнения от простых, таких как разработка собственного набора символов, до сложных, включающих перевод реальных аудиоматериалов»; 2) «...которые в результате исторических и лингвистических изменений вошли в профессиональную сферу кинематографа и анимации», «В частности, это видно на примере сокращения слова «cartoon» до «toon» в конце XX века»). В ряде случаях модель демонстрирует стремление к достижению компактности изложения за счёт опущения отдельных сегментов аннотации — например, актуальности — или избегания их эксплицитной формулировки за счёт выражения иными способами: например, указывая цель исследования через представление темы работы или актуальность посредством указания значимости рассматриваемой проблемы (см. Таблицу 2). Вместе с этим модель зачастую прибегает к опущению методов (см. Таблицу 1) или их редукции до единичного термина или обобщённых классов с минимальной конкретизацией второстепенных параметров (см. Таблицу 2-4). Подобный подход с одной стороны обеспечивает компактность текста, с другой — не всегда удовлетворяет жанровым требованиям и приводит к снижению информативности аннотации. Стилистические отклонения в аннотациях от Llama также проявляются ярче, чем у других моделей. Во-первых, стремясь сократить текст, модель зачастую объединяет несколько аспектов в одном сложносочинённом предложении, что снижает чёткость структуры изложения. Во-вторых, упрощение терминологии в некоторых случаях приводит к очевидным стилистическим нарушениям, когда модель заменяет ключевые понятия исследования более общими формулировками. Тем не менее, следует подчеркнуть, что несмотря на отмеченное стремление к сокращению объёма аннотации, предлагаемые моделью тексты в целом содержат все основные разделы исследования, а стиль их изложения в большинстве случаев соответствует академическому регистру, однако реализуемому за счёт более простых языковых средств.

Таблица 1. Примеры аннотаций, предложенных языковыми моделями к оригинальной работе «Обучение универсальной переводческой скорописи на занятиях по устному переводу».

Таблица 2. Примеры аннотаций, предложенных языковыми моделями к оригинальной работе «К вопросу о переосмыслении и терминологизации лексических единиц cartoon, gag».

Таблица 3. Примеры аннотаций, предложенных языковыми моделями к оригинальной работе "Joining the adventures of Sally Jones – Discursive strategies for providing access to literary language in a linguistically diverse classroom".

Таблица 4. Примеры аннотаций, предложенных языковыми моделями к оригинальной работе "Artificial intelligence and human behavioral development: A perspective on new skills and competences acquisition for the educational context".

Сравнение межъязыковых особенностей генерации показало, что модели в целом успешно адаптируются под нормы академического стиля соответствующего языка. Так, при генерации аннотаций на русском языке, все модели предлагают тексты в преимущественно безличной манере или с помощью страдательных конструкций, тогда как аннотации на английском языке, помимо страдательных оборотов, также содержат активный субъект, которым выступают либо авторы исследования (коллективное местоимение we), либо само исследование (paper/research/study), что соответствует практике англоязычных авторов. Вместе с отметим отмечаются и различия в соблюдении указанной в запросе структуры: в большинстве случаев модели строго следуют особенностям организации текста аннотации, придерживаясь преимущественно эксплицитного обозначения всех аспектов исследования при генерации на русском языке и прибегая к импликации отдельных фрагментов – таких как цель или актуальность — в предлагаемых англоязычных аннотациях, что соответствует сложившейся практике. Данные наблюдения свидетельствуют, что модели владеют контрастивной риторикой двух языков и способны переключаться между ними, хотя также отмечается, что во многих случаях модели проявляют склонность к переносу стилистических шаблонов англоязычного академического дискурса в русский текст. Можно констатировать, что даже без дополнительных подсказок (примеров или правок) большие языковые модели в целом способны генерировать достаточно корректные аннотации к научным работам. При этом каждая модель демонстрирует собственные стилистические особенности генерации, наблюдающиеся системно и отражающие различный подход моделей к подаче материала.

Итеративный промптинг: повышение качества генерации

Последующий итеративный промптинг, предполагающий отправку моделям дополнительного запроса с просьбой о доработке текста аннотации и устранении отмеченных недостатков, позволил получить скорректированные версии исходных аннотаций и продемонстрировал, что данный метод взаимодействия позволяет добиться повышения лингвостилистического качества текстов в соответствии с обозначенными целями корректировки.

Модель ChatGPT демонстрирует способность значительно оптимизировать структуру и содержание предложенных аннотаций в ответ на уточняющий запрос, устраняя или сокращая нерелевантные фрагменты текста, а также повышая общую стройность и связность текста при сохранении особенностей научного стиля и значительном уменьшении объёма аннотации. Так, если в исходный текст аннотации на русском языке был включён подробный перечень частных задач исследования, после итеративного уточнения данный перечень преобразовывался в обобщённую формулировку, подчёркивающую основное направление работы (см. Таблицу 5). При доработке аннотаций к работам на английском языке модель вносит незначительные улучшения, способствующие повышению стройности текстов и уделяет внимание улучшению структуры и снижению сложности синтаксиса без ущерба академичности и терминологической точности. В частности, в отдельных фрагментах модель устраняет формальные переходы и заменяет сложные предложения более краткими и чёткими конструкциями (см. Таблицу 7). При этом модель верно идентифицирует более и менее ценные аспекты текста аннотации, сохраняя ключевые фрагменты первоначального текста или внося в них лишь незначительные исправления, не приводящие к смысловым изменениям. Таким образом, аннотации от ChatGPT, полученные в ответ на уточняющий запрос, в целом демонстрируют бОльшую степени соответствия стилю научной аннотации и устранение избыточной детализации.

Модель Gemini при последующем обращении также вносит качественные изменения в первоначальный результат генерации. Дополнительный промпт, предписывающий доработать текст аннотации, позволяет добиться изменения объёма текста при сохранении свойственной текстам модели высокой степени ясности и связности изложения. Примечательно, что для переработанных аннотаций на русском языке характерно преимущественно снижение объёма текста (см. Таблицу 5, 6), тогда как на английском языке в результате итеративной генерации модель увеличивает объём аннотаций за счёт более подробного раскрытия результатов и использования более распространённых предложений (см. Таблицу 7). При этом модель сохраняет характерную для её текстов высокую степень ясности и связности изложения и демонстрирует повышение логичности текста: дополнительный запрос мотивирует модель переструктурировать отдельные элементы текста, более явно разделять фрагменты работы друг от друга и более эксплицитно (в частности, за счёт соответствующих клише) выделять их в тексте аннотации (см. Таблицу 5). Помимо этого, уточняющий запрос позволяет добиться усиления нейтральности и строгости стиля, а также повышения терминологической насыщенности текстов (см. Таблицу 6) и устранения/упрощения сложных синтаксических конструкций без потери строгости научного стиля (см. Таблицы 7, 8). В то же время, несмотря на улучшения, отдельные аннотации сохраняют тенденцию к упрощению формулировок и ограниченность используемых конструкций, характерную для первоначальной генерации Gemini. Таким образом, итеративный промптинг помогает Gemini добиться повышения информативности и строгости аннотации, устраняя частные недостатки первоначальной версии.

Mistral при повторной генерации на русском языке показывает менее заметные изменения, но также вносит некоторые исправления в исходные варианты. Данная модель изначально строго следует шаблону построения аннотации, однако отправка итеративного запроса позволяет добиться незначительного повышения вариативности используемых конструкций. Кроме того, Mistral положительно отреагировала на требование повысить терминологическую точность, включая несколько более строгие и академически точные формулировки и заменяя упрощённые эквиваленты или популярные конструкции на более уместные в рамках академического дискурса (например, «войти» на «интегрироваться» — см. Таблицу 6). Вместе с этим отмечается более чёткое обозначение отдельных блоков аннотации, которые ранее могли представляться без эксплицитного перехода (см. Таблицы 5, 6). Ясность изложения, академичность и информативность аннотаций модели после итеративной генерации возросли, хотя в отдельных случаях сохранялась умеренная упрощённость формулировок и избыточная стандартизированность (см. Таблицу 6). Вместе с тем объём текстов и их структура не претерпевают значительных изменений, которые отмечаются у других моделей. Таким образом, итеративный промптинг позволяет устранить стилистическую монотонность и упрощённость, выявленную в исходных результатах генерации.

Модель Llama в ответ на итеративный запрос на русском языке демонстрирует наиболее значительные изменения в качестве генерации, предлагая более объёмные, содержательные и терминологически точные тексты и включая в текст аннотации элементы, которые могли быть опущены прежде (см. Таблицу 5). В переработанных вариантах отмечается восстановление отсутствующих в исходном тексте фрагментов, а также более развёрнутое описание результатов с указанием полученных выводов и/или значимости работы. Стилистически аннотации Llama также приблизились к академическому стилю и в большей степени опираются на релевантные клише и терминологию (например, «предпринимается попытка», «интегрироваться, «в историческом разрезе»; см. Таблицу 6). Таким образом, итеративный подход помогает преодолеть главный недостаток Llama — лаконичность и простоту изложения. Однако следует отметить, что по сравнению с другими моделями, Llama может допускать нарушения структуры аннотации: например, повторяя схожую информацию в различных разделах текста.

Примечательно, что при повторной генерации на английском языке модели Mistral и Llama демонстрируют во многом схожий подход, выраженный в минимальных изменениях исходного текста. Обе модели сводят преобразования к замене отдельных лексических единиц и конструкций на равнозначные в рамках академического дискурса, что в целом способствует незначительному улучшению стройности текстов без заметного изменения их содержания, структуры или академичности. Тем не менее подобный подход позволяет исследователю рассмотреть альтернативные формулировки и сделать осознанный выбор из наиболее удачных вариантов (см. Таблицы 7, 8).

Таблица 5. Примеры обновлённых аннотаций, предложенных языковыми моделями к оригинальной работе «Обучение универсальной переводческой скорописи на занятиях по устному переводу».

Таблица 6. Примеры обновлённых аннотаций, предложенных языковыми моделями к оригинальной работе «К вопросу о переосмыслении и терминологизации лексических единиц cartoon, gag».

Таблица 7. Примеры обновлённых аннотаций, предложенных языковыми моделями к оригинальной работе "Joining the adventures of Sally Jones – Discursive strategies for providing access to literary language in a linguistically diverse classroom".

Таблица 8. Примеры обновлённых аннотаций, предложенных языковыми моделями к оригинальной работе "Artificial intelligence and human behavioral development: A perspective on new skills and competences acquisition for the educational context".

Обобщая результаты второго этапа, можно утверждать, что итеративный промптинг позволяет повысить качество генерируемых аннотаций в большинстве рассмотренных случаев. В ряде случаев преобразования носят характер стилистических доработок, улучшающих общее качество выраженных идей и предоставляющих пользователю возможность выбора из более широкого числа вариантов потенциальных формулировок. Так, повторное обращение к модели с указанием конкретных доработок позволило:

● Сохранить уникальные сильные стороны каждой модели при устранении недостатков.

● Добиться более строгого соответствия жанровым стандартам: в переработанных аннотациях устраняется ряд стилистических отклонений и нарушений логики IMRaD.

● Улучшить ясность и стройность текстов за счёт устранения нерелевантных фрагментов информации и, наоборот, восполнения недостающих связующих элементов там, где они были опущены.

Следует подчеркнуть, что успех итеративного метода во многом зависит от содержания и формулировок подсказок, направляемых модели при дальнейшем взаимодействии. Конкретные указания, подчёркивающие недостатки, требующие исправления или доработки, способствуют корректной переработке исходного текста. Данный подход требует от пользователя понимания природы воспроизводимых языковыми моделями ошибок и умений их явно описать и демонстрирует последовательное улучшение качества генерации среди всех моделей.

Заключение

Проведённое исследование подтвердило возможность использования больших языковых моделей для автоматизации создания аннотаций к научно-исследовательским работам, а также выявило преимущества комплексной стратегии их использования. Прежде всего, сравнительный анализ четырёх языковых моделей (ChatGPT, Gemini, Mistral, Llama) показал, что каждая из них обладает достаточными способностями для воспроизведения жанровой формы аннотации и наполнения её релевантным содержанием на основе предоставленных данных об исследовании, что свидетельствует о высоком уровне развития современных генеративных систем и способности выполнять рутинную часть работы исследователя, связанную с написанием вспомогательных разделов статьи. Помимо этого, обнаруженные различия в стиле и степени детализации, присущие разным моделям, указывают на то, что выбор конкретной модели должен соотноситься с задачами автора.

Вместе с тем экспериментально подтверждена эффективность zero-shot генерации с помощью содержательного промпта, а также возможность улучшения качества результата первоначальной генерации посредством последующего уточняющего запроса. Так, единоразовый (zero-shot) запрос позволяет получить релевантный текст, в целом соответствующий стандартам академического дискурса. Однако в ряде случаев предлагаемые языковыми моделями аннотации могут обладать содержательными и/или стилистическими недостатками, исправления которых удаётся добиться при последующих запросах: проведённый эксперимент демонстрирует, что даже один цикл промптинга на основе выявленных недостатков способен повысить качество аннотации.

Однако, несмотря на полученный результат, применение генеративного ИИ при генерации аннотаций также сопряжено с рядом ограничений. Языковым моделям в некоторых случаях свойственна вероятность нарушения указанных пользователем требований или незначительно отклонение от них. Кроме того, модели могут неосознанно перенимать нежелательные паттерны (например, стилистические особенности англоязычного дискурса при генерации на русском языке), в том числе ошибки, присутствующие в обучающих данных. В этой связи использование подобных инструментов требует от исследователя внимательного отношения к сгенерированному тексту: автоматическую аннотацию следует рассматривать лишь как черновик, который нуждается в проверке и, возможно, доработке.

В заключение подчеркнём: большие языковые модели при надлежащем контроле могут стать надёжными помощниками исследователя, ускоряя и облегчая подготовку научных публикаций. Проведённый анализ zero-shot и итеративного методов промптинга подтверждает, что ответственное использование больших языковых моделей, сопровождаемое внимательным руководством со стороны пользователя, позволяет добиться качественного результата генерации и рассматривать перспективы дальнейшей интеграции генеративного ИИ в научно-исследовательскую деятельность.