Чат-бот как инструмент в работе переводчика

Введение. На сегодняшний день достижения в сфере искусственного интеллекта уже давно применяются в переводческой деятельности ^{[1, c. 51]}. Умение работать с Computer-Assisted Translation программами является необходимым навыком переводчика и требованием многих работодателей, так как эта технология значительно облегчает процесс перевода. Со временем были разработаны Computer-Aided Interpreting системы – программы для устных переводчиков, которые снимают с них часть нагрузки и позволяют сконцентрировать внимание на смысле слов. В основе этих программ лежат технологии Translation Memory, Machine Translation и Speech Recognition. Естественно, на данный момент в переводе искусственный интеллект используется для выполнения рутинной работы, которая обычно отнимает много времени ^{[8, c. 264; 3, c. 112]}. Однако в работе переводчика все еще остаются задачи, с которыми приходится регулярно сталкиваться, и решение которых можно было бы автоматизировать с помощью чат-ботов, использующих технологии ChatGPT. К таким задачам можно отнести проверку частотности определенного слова или словосочетания, поиск коллокаций, сравнение синонимов и паронимов, поиск рифм, предпереводческий анализ. Мы предполагаем, что чат-боты могут совместить в себе целый ряд интернет-ресурсов, что позволило бы им стать универсальным инструментом в арсенале современного переводчика.

Целью данного исследования является:

1) проведение обзора исследований, посвященных чат-ботам, использующим технологии ChatGPT, их применению в переводе и некоторых смежных областях;

2) проведение эмпирического исследования для проверки способности чат-ботов предоставлять переводчику достоверную лингвистическую информацию и решать другие переводческие задачи;

3) выяснить, насколько отличается качество информации, предоставляемой чат-ботами, использующими технологии компании OpenAI, в зависимости от того, кто их разрабатывал;

4) определение и обсуждение ключевых вопросов, связанных с эффективностью применения чат-ботов в переводческой деятельности.

Обзор литературы. Для начала рассмотрим, что собой представляет «чат-бот». Существует много определений данного понятия, но все они отмечают только те характеристики, которые важны для конкретной сферы применения. Так О. С. Бикулова и М. И. Ивкина, занимающиеся преподаванием русского языка, дают следующее определение: «Чат-бот – компьютерная программа, созданная для имитации реального диалога виртуального собеседника (искусственного интеллекта) с пользователем» ^{[2, с. 92]}. А. В. Копытова, рассматривая особенности коммуникации между искусственным интеллектом и человеком, определяет чат-бот как «программу, цель которой заключается в интерпретации входного текста или речи и выводе соответствующего полезного ответа» ^{[4, с. 124]}. Под чат-ботом Б. Луо, Раймонд Й. К. Лау, Ч. Ли и Й. В. Сы понимают «умные диалоговые агенты, которые взаимодействуют с пользователями на естественных языках» ^{[11, с. 2]}. А. Н. Коробова и Н. Д. Чижик, рассматривая чат-бота в качестве помощника абитуриента при поступлении, определяют его как «специальную программу, которая облегчает жизнь пользователя, упрощая поиск необходимых данных и помогая в решении вопросов» ^{[5, с. 71]}. В рамках данного исследования нам не столько важны способности чат-бота, работающего на основе искусственного интеллекта, имитировать диалог, сколько способность осуществлять быстрый поиск информации, анализировать её, собирать и представлять переводчику в удобной форме. Именно эти характеристики отмечены А. В. Копытовой и А. Н. Коробовой. Поэтому на основе приведенных выше определений и применительно к теме перевода при помощи компьютерных систем под чат-ботом предлагается понимать «программу, которая осуществляет поиск данных и помогает в решении вопросов, сначала интерпретируя входное сообщение, а затем выводя полезный ответ, взаимодействуя с пользователем на естественном языке в форме диалога» ^{[7, c. 23]}. На сегодняшний день самым популярным чат-ботом с искусственным интеллектом является ChatGPT, разработанный компанией OpenAI. GPT расшифровывается как Generative Pre-trained Transformer, что означает «генеративный предварительно обученный трансформер». ChatGPT представляет собой языковую модель, которая обучена на огромном массиве данных. Он способен в диалоговом режиме писать код, создавать тексты, переводить и давать ответы на самые разные вопросы. Большинство чат-ботов используют технологию ChatGPT версии 3.5, которая была обучена на данных до сентября 2021 г. То есть любые изменения, произошедшие в языках за 2022-2023 гг., не будут учтены нейросетью при выдаче ответов.

М. В. Прошина рассматривает применение нейросетей в обработке естественного языка и выделяет вопросно-ответные системы и интеллектуальный анализ. Результаты исследования касаются темы данного исследования, так как чат-боты как раз и комбинируют вопросно-ответную систему и интеллектуальный анализ ^{[6, с. 28]}. В статье отмечается, что нейронные сети могут генерировать ответы, как соответствующие действительности, так и абсолютно неверные. Это замечание очень важно, так как одна из целей нашего исследования заключается в том, чтобы выяснить, могут ли чат-боты, быть надёжным источником информации для переводчиков.

Производя интеллектуальный анализ текстов, искусственный интеллект «механически выделяет информацию из всевозможных текстовых данных, таких как книги, научные журналы, клинические записи, новостные статьи, посты и комментарии и так далее» ^{[5, с. 70]}. Таким образом, чат-боты должны располагать огромным количеством текстовой информации, что в теории позволяет им более полно отражать естественные языки, чем специализированные корпусы текстов. Стоит упомянуть и тесты, проведенные NewsGuard в отношении ChatGPT 3.5 ^[6]. В результате проверки достоверности информации, предоставляемой ChatGPT, было выяснено, что ответы могут зависеть от языка, на котором был введен запрос (промпт), так как для определенного языка чат-бот обучается на корпусе именно этого языка. Лингвистическим корпусом называют большой массив текстов, собранных в соответствии с определенными принципами, размеченных по определенному стандарту и обеспеченных специализированной системой управления текстовыми и лингвистическими данными. На сегодняшний день корпусы являются компьютерными, то есть представленными на определенном машинном носителе, что значительно упрощает работу исследователям.

Р. Фираиана и Д. Сулисворо пришли к выводу, что, хотя ChatGPT имеет некоторые ограничения, он может оказаться хорошей альтернативой в обучении, так как лекторы, выступающие как респонденты в исследовании, подтвердили, что использование чат-бота повысило их продуктивность и эффективность в поиске новой информации ^{[9, с. 44]}.

М. Джаваид, А. Халеем, Р. Пратап Синх, Ш. Хан и И. Халеем Хан утверждают, что благодаря своим широким возможностям, таким как, например, предоставление целых списков терминов на определенную тему и их значений, ChatGPT может быть очень мощным инструментом как в повышении уровня знаний студентов, так и в работе преподавателей ^{[10, с. 9]}.

Подобные исследования по использованию Chat-GPT по большей части в сфере образования доказывают логичность попытки найти применение чат-ботам в переводческой деятельности.

Материалы и методы. Эмпирическое исследование проводилось на базе кафедры лингвистики и перевода института гуманитарного образования ФГБОУ ВО «МГТУ им. Г.И. Носова» в 2023 году. Его целью была проверка способности трех чат-ботов Sage, Perplexity и Chatsonic, основанных на технологии GPT-3.5, эффективно выполнять функции помощников переводчиков, осуществляя поиск информации и решая некоторые другие переводческие задачи, а также определить, какие проблемы и вопросы нужно решить разработчикам GPT и чат-ботов, чтобы сделать использование диалоговых помощников эффективным.

В рамках исследования чат-ботам было необходимо дать требуемый ответ на запрос, сформированный в виде текстового сообщения. Промпты формировались с целью решения следующих переводческих задач:

- определение частоты употребления лексемы;

- поиск коллокаций;

- сравнение паронимов;

- поиск синонимов;

- подбор рифм;

- предпереводческий анализ текста.

Результаты исследования

1. Определение частоты употребления слова.

В данном разделе представлены результаты эксперимента, проведенного с тремя чат-ботами – Sage на платформе Poe.com, разработанный компанией Quora; Perplexity AI, разработанный небольшой командой Perplexity; и Chatsonic от компании Writesonic. Хотя все три используют технологии GPT-3.5., у каждого есть особенности. Мы будем составлять идентичные или похожие промпты, чтобы в конце выяснить, какой тип чат-бота лучше всего справляется с переводческими задачами. И первая задача, с которой чат-ботам нужно было справиться – это определить частотность слова. Для этого существуют корпусы текстов, но наша задача была узнать, можно ли сделать это с помощью чат-бота. Для поиска было выбрано слово «pollution», которое встречается в корпусе COCA 19195 раз. Чат-ботам было необходимо узнать, как часто это слово употребляется в американском варианте английского. На рисунках 1-3 видно, что ни один чат-бот не смог дать полезный ответ на вопрос. Тогда как Perplexity AI и Chatsonic отказались дать точную цифру, даже имея конкретный источник, где такая информация содержится, Sage и вовсе придумал её. Первый чат-бот не предоставил даже приблизительной частоты употребления слова. Тему недостоверной информации мы подробнее обсудим в соответствующем разделе.

Рис. 1. Проверка частоты употребления слова в чат-боте Sage.

Рис. 2. Проверка частоты употребления слова в чат-боте Perplexity AI.

Рис. 3. Проверка частоты употребления слова в чат-боте Chatsonic.

2. Поиск коллокаций.

Кроме частоты употребления той или иной лексической единицы, в процессе работы переводчикам время от времени нужно проверить сочетаемость слов, чтобы избежать ошибок. Итак, чат-ботам было необходимо предоставить список из 10 слов, которые наиболее часто употребляются со словом «pollution». Список должен был быть составлен в таком порядке, где на первом месте находится слово, которое составляет коллокацию с «pollution» чаще всех остальных. На рис. 4 мы видим, что Sage снова обратился к корпусу COCA, но его ответы не соответствуют действительности. И в COCA, и в корпусе британского английского BNC прилагательное «environmental» не находится на первом месте. Результаты на рис. 5–6 были взяты чат-ботами с сайта the Adjective Finder. Однако на сайте нельзя найти никаких точных цифр и даже количества текстов, на основе которых составлялся этот список. Информация, полученная с помощью чат-ботов, может все еще быть полезной лишь в том случае, если единственной целью переводчика является узнать, какие существуют коллокации с каким-либо словом, или найти коллокации, чтобы лучше понять оттенки значения лексемы. Грубо говоря, чат-боты не выполняют требование данного запроса.

Рис. 4. Поиск коллокаций в чат-боте Sage.

Рис. 5. Поиск коллокаций в чат-боте Perplexity AI.

Рис. 6. Поиск коллокаций в чат-боте Chatsonic.

3. Сравнение паронимов.

Переводчик, безусловно, должен знать паронимы не только в своем родном языке, но и в том языке, с которым работает. Тем не менее, иногда приходится сравнивать два слова, чтобы лучше понимать, в чем их различия и в каких контекстах они используются. На этот раз чат-ботам было необходимо объяснить разницу между паронимами «sensitive» и «sensible», а также предоставить доступ к полным текстам, как это делают многие корпусы. На рис. 7. Sage действительно объяснил разницу между словами и дал примеры того, как следует использовать их в текстах. Однако чтобы получить доступ к полным текстам, нужно было запросить ссылки на них, что мы и сделали во втором уточняющем вопросе. Тот факт, что вам не нужно писать промпт полностью заново, является особенностью чат-ботов от OpenAI, которые запоминают ваши прошлые сообщения. Таким образом, даже если была совершена ошибка, всегда можно исправить её в следующем запросе. Perplexity AI обычно не нуждается в уточнении о том, что нам необходимы ссылки на исходные тексты, но мы все же сделали это. На рис. 8-9. видно, что напротив каждого предложения есть ссылка на источник, откуда оно было взято. Но ни одна из ссылок не была полезной по одной из трех причин: 1) ссылка нерабочая; 2) в тексте не было такого предложения с заданным словом; 3) предложение было взято из онлайн словаря, а не из реального текста. Что касается Chatsonic, то он предоставил всего лишь 3 ссылки, которые по тем же причинам оказались бесполезными (Рис. 10).

Рис. 7. Сравнение двух паронимов от чат-бота Sage

Рис. 8. Запрос ссылок у чат-бота Sage.

Рис. 9. Сравнение двух паронимов от чат-бота Perplexity AI.

Рис. 10. Сравнение двух паронимов от чат-бота Chatsonic.

Мы предположили, что, возможно, лучше указывать, откуда чат-боту нужно брать примеры, будь то СМИ или литература. Однако и эта попытка не увенчалась успехом. Чат-боты дают примеры, указывают названия и авторов произведений, но мы обнаружили, что таких предложений в текстах на самом деле нет (Рис. 11). Все примеры до единого были сгенерированы нейросетью, а не получены из реальных источников.

Рис. 11. Примеры из литературы от чат-бота Perplexity AI.

4. Поиск синонимов.

Переводчик всегда должен пополнять свой словарный запас, чтобы уметь подобрать подходящий эквивалент в самых разных ситуациях. Из-за незнания синонимов одного и того же понятия или недостаточной подготовки, переводчик может допустить стилистические ошибки. Мы решили проверить, как хорошо чат-боты умеют подбирать синонимы. На рис. 12–13 мы видим, что ими было предложено множество вариантов. Perplexity AI даже привел примеры их употребления, а Chatsonic оставил ссылки на словарные статьи.

Рис. 12. Синонимы от чат-бота Sage.

Рис. 13. Синонимы от чат-бота Perplexity AI.

Рис. 14. Синонимы от чат-бота Chatsonic.

После этого мы решили проверить, могут ли чат-боты подобрать к тому же слову синонимы, которые относятся к формальной лексике (Рис. 15–17). Кроме «intelligent» мы получили такие слова как «astute», «ingenious», «adroit» и «resourceful», которые действительно относятся к формальной лексике, если руководствоваться корпусом COCA.

Рис. 15. Формальные синонимы от чат-бота Sage.

Рис. 16. Формальные синонимы от чат-бота Perplexity AI.

Рис. 17. Формальные синонимы от чат-бота Chatsonic.

5. Подбор рифм.

Следующей задачей стало практическое применение чат-ботов в переводе поэзии. Мы не говорим о машинном переводе с помощью нейросетей, так как пока это считается недопустимым по вполне справедливым причинам. Мы предположили, что чат-боты могут подбирать наиболее подходящие рифмы к уже переведенным строка. Переводя поэзию, переводчики давно используют специальные сайты, которые выдают списки рифм к заданному слову. Тот факт, что чат-боты способны учитывать контекст, мог бы стать их преимуществом, так как в теории они могли бы из всех возможных рифм подбирать те, которые лучше всего подходят по смыслу. Для эксперимента мы взяли стихотворение, на примере которого российский лингвист, переводчик и профессор Д. И. Ермолович в 6 выпуске цикла видео «Языковые тонкости» на сайте www.youtube продемонстрировал, как создается поэтический перевод. Чат-ботам необходимо было для третьей строчки найти слово, которое рифмовалось бы с первой, которую Д. И. Ермолович перевел так: «Душа утомлена – не хочет перемен». Sage подобрал слова «вреден» и «суетен», но они не рифмуются с первой строкой, так как в них ударение падает на первый слог, а не на последний (Рис. 18). Perplexity AI не удалось на основании оригинала найти рифму к слову «перемен». Зато чат-бот может дать список рифмующихся слов, не связанных по смыслу (Рис. 19). Краткое прилагательное «безмен», которое предложил Chatsonic и которое на самом деле означает «огромный, безмерный», совсем не подходит, хотя и рифмуется с первой строчкой (Рис. 20).

Рис. 18. Подбор рифм от чат-бота Sage.

Рис. 19. Подбор рифм от чат-бота Perplexity AI.

Рис. 20. Подбор рифм от чат-бота Chatsonic.

6. Предпереводческий анализ текста.

Предпереводческий анализ текста является неотъемлемой частью работы переводчика. Однако это рутинная работа, которую можно автоматизировать. Чат-ботам было необходимо на основании отрывка из текста ответить на заданные вопросы, что помогло бы переводчику лучше понять, с каким текстом он работает. Первый отрывок мы взяли из романа Марка Твена «Том Сойер», не указывая названия или какой-либо лишней информации. Полученные результаты отличались, и лучший ответ выдал чат-бот Sage (Рис. 21). Правильно определив автора и название произведения, он без труда нашел дату публикации текста и его жанр. Ответы на другие вопросы были тоже верными. Perplexity AI определил автора, название, но дату публикации ему найти не удалось (Рис. 22). Также ответ на 4 вопрос о целевой аудитории не дает нам никакой полезной информации («Целевая аудитория текста – это читатели книги «Приключения Тома Сойера»). Chatsonic не смог определить дату публикации текста и точно установить жанр текста (Рис. 22).

Рис. 21. Предпереводческий анализ «Тома Сойера» от чат-бота Sage.

Рис. 22. Предпереводческий анализ «Тома Сойера» от чат-бота Perplexity AI.

Рис. 23. Предпереводческий анализ «Тома Сойера» от чат-бота Chatsonic.

Следующий текст для анализа был взят с новостного сайта CNN. В этот раз ни одному чат-боту не удалось установить дату публикации или автора (Рис. 24–27). Как утверждает OpenAI, GPT-3.5 располагает только данными до сентября 2021 г., что, возможно, является причиной, почему нейросети не смогли определить дату публикации. Поэтому была найдена новость, относящаяся к 2019 г., про лесные пожары в Австралии и заданы повторные вопросы. Как мы видим на Рис. 25 чат-бот не может определить автора текста, дату или источник. Другие два чат-бота также не смогли ответить на данные вопросы. Perplexity AI утверждает, что текст был взят с ресурса South China Morning Post (Рис.26). Мало вероятно, что тот же самый текст действительно был опубликован на данном сайте, так как с момента его публикации в CNN не прошло и суток, а ссылка, которую предоставил Perplexity AI оказалась нерабочей. Chatsonic вовсе не смог провести анализ текста и запросил источник, откуда была взята информация (Рис.27).

Рис. 24. Предпереводческий анализ публицистического текста от чат-бота Sage.

Рис. 25. Предпереводческий анализ текста 2019 г. от чат-бота Sage.

Рис. 26. Предпереводческий анализ публицистического текста от чат-бота Perplexity AI.

Рис. 27. Предпереводческий анализ публицистического текста от чат-бота Chatsonic.

Обсуждение результатов.

1. Качество предоставляемой информации.

Результаты исследования подтвердили утверждение М. В. Прошиной о том, что нейросети могут генерировать ответы не только соответствующие действительности, но и абсолютно неверные. Все три чат-бота не раз обращались к непроверенным сайтам в процессе поиска либо же на несуществующие источники, даже когда необходимая информация находилась в свободном доступе, как в эксперименте со сравнением двух паронимов. Они могут неверно определять значение слова. Единственный раз, когда ответы чат-ботов полностью удовлетворяли запрос, это поиск синонимов. В этом случае они обращаются к словарям и даже могут верно определить регистр слов несмотря на то, что даже самые проверенные словари не всегда указывают данную характеристику. Не всегда точные ответы были даны на запросы об анализе текста. Таким образом, чат-боты действительно могут быстро искать информацию, какой бы ни был запрос, однако, чтобы получить достоверные данные все еще приходится обращаться к традиционным методам поиска.

2. Способность анализировать информацию и другие возможности.

Выяснилось, что несмотря на то, что GPT-3.5 был обучен на огромном массиве лингвистических данных, чат-боты по какой-то причине не могут подсчитать, сколько раз в текстах было употреблено то или иное слово. Один из них обратился к корпусу английского языка COCA, но выдал недостоверную информацию, что наводит на мысль о том, что чат-бот, не имея возможности пользоваться корпусами, сам сгенерировал цифру. Похожая ситуация произошла и с поиском слов в контексте, когда чат-боты ссылались на специальные сайты для поиска цитат, откуда они якобы нашли предложения. На этих сайтах нам не удалось найти те же примеры, которые приводили чат-боты, что означает, они действительно не могут пользоваться функциями других сайтов. Не совсем понятно, зачем генерировать несуществующую информацию, когда есть множество открытых источников, где не обязательно использовать функции сайта, чтобы найти слова в тексте. Большинство чат-ботов могут правильно определить жанр текста и даже его цель, но не дату публикации или источник. Однако любой переводчик может с тем же успехом самостоятельно ответить на эти вопросы, бегло прочитав текст. Чат-ботами были предприняты попытки подобрать рифму к слову, но ими не были учтены ударения в словах. Тем не менее, полезной функцией чат-ботов остается возможность дополнять свои прошлые запросы, уточняя их.

3. Какой чат-бот лучше?

Начнем с того, что самым неэффективным чат-ботом оказался Chatsonic. Он не разбивал информацию на абзацы, что затрудняло восприятие текста. Кроме того, из трех чат-ботов Chatsonic приводил меньше всего примеров и источников при этом поиск ответа занимал в среднем 1–2 минуты. Хотя разработчики утверждают, что он может использовать актуальную информацию Гугла в поиске, его ответы не были полезнее, чем у других двух чат-ботов. В процессе работы с Chatsonic приходилось не раз столкнуться с ошибками и вводить запрос заново. Вдобавок ко всему этому, Chatsonic не смог провести анализ текста, даже когда вся необходимая информация для ответов на вопросы находилась в свободном доступе.

Sage и Perplexity AI были одинаково удобны в использовании: информация разбита по смыслу, каждый пример пронумерован, быстрые ответы. Тем не менее, мы отдаем предпочтение чат-боту Sage, так его анализ текста оказался самым полным. Недостатком Perplexity является его же преимущество, а именно то, что он всегда оставляет ссылки на то, откуда была взята информация. Когда вопрос касается какой-либо неочевидной информации или информации, которой чат-бот не знает, он генерирует собственную, но продолжает оставлять нерабочие ссылки.

4. Чат-бот на замену словарям и корпусам текстов: удобство в работе.

Сама идея проведения исследований или решения переводческих проблем без помощи каких-либо сложных программ, звучит привлекательно. Однако здесь есть два момента. С одной стороны, гораздо легче пользоваться одним инструментом, а все запросы составлять простым языком вместо того, чтобы изучать функционал нескольких инструментов, чтобы эффективно искать информацию. С другой стороны, научившись пользоваться, например, корпусами, переводчику требуется выполнить меньше действий и при этом получить качественную информацию. Используя чат-бот, пользователь вынужден учесть все, что может повлиять на ответ и выразить это с помощью слов. В итоге составление промпта может занять у переводчика слишком много времени. Кроме того, чат-боты не могут предоставить доступ к полному тексту, в то время как в корпусе практически всегда можно получить более широкий контекст. Стоит отметить, что им хорошо удалось объяснить различие между словами «sensitive» и «sensible», также искать синонимы, поэтому в теории, учитывая, что они оставляют ссылки на словарные статьи, их можно использовать вместо словарей.

Выводы. У диалоговых помощников есть свои плюсы и серьезные минусы. Качество предоставляемой информации, а также источники, к которым обращается искусственный интеллект, зависит от компании, которая разрабатывала чат-бот. Решение большинства переводческих задач все еще им не под силу, а их способность повысить эффективность и продуктивность в поиске информации, о которой утверждают Р. Фираиана и Д. Сулисворо, остается под сомнением. Любая информация, полученная с помощью чат-ботов, нуждается в проверке на достоверность, что отнимает много времени. Языковая модель GPT-3.5, которую на сегодняшний день использует большинство чат-ботов, не позволяет им стать одним из инструментов в арсенале переводчика. По-прежнему удобнее обращаться к разным ресурсам в процессе перевода, чем составлять длинный запрос с учетом возможного недопонимания со стороны искусственного интеллекта. Тем не менее, у чат-ботов все же есть потенциал, и они могут стать полезными в работе, если будут решены следующие проблемы: а) фальсификация данных; б) неспособность пользоваться функциями поиска других сайтов; в) неспособность подсчитывать частоту употребления слов и выражений в текстах; г) указание ссылок на несуществующие источники; д) отсутствие учета ударений в словах при подборе рифм; е) невозможность получить доступ к полным текстам.