Статистический анализ речевых формул оправдания в английском языке при помощи SVM-классификатора

Скворцова Елена Борисовна преподаватель, кафедра иностранных языков технических факультетов, Новосибирский государственный технический университет 630073, Россия, г. Новосибирск, пр. Карла Маркса, 20, корп. 1, каб. 503а Skvortsova Elena Borisovna lecturer of the Department of Foreign Languages in Technical Studies at Novosibirsk State Technical University 630073, Russia, g. Novosibirsk, pr. Karla Marksa, 20, korp. 1, kab. 503a neon-999@mail.ru Другие публикации этого автора     Бочкарев Арсентий Игоревич кандидат филологических наук доцент, заведующий кафедрой иностранных языков технических факультетов, Новосибирский государственный университет 630073, Россия, Новосибирская область, г. Новосибирск, ул. Пр. К. Маркса, 20, каб. 503а, корпус 1 Bochkarev Arsentiy Igorevich PhD in Philology Associate Professor, Head of the Department of Foreign Languages in Technical Studies at Novosibirsk State University 630073, Russia, Novosibirskaya oblast', g. Novosibirsk, ul. Pr. K. Marksa, 20, kab. 503a, korpus 1 arsentiy_87@mail.ru

Пепеляева Мария Алексеевна не работает временно 630136, Россия, Новосибирская область, г. Новосибирск, ул. Плахотного, 72, кв. 75 Pepelyaeva Mariya Alekseevna temporarily unemployed 630136, Russia, Novosibirskaya oblast', g. Novosibirsk, ul. Plakhotnogo, 72, kv. 75 pepelyaeva@ami.nstu.ru

Введение

Отсутствие точного инструментария и единой теоретической базы характеризуют современное состояние лингвистики ^[5]. Разработка релевантного и точного инструментария для анализа статистических характеристик различных классов речевых актов является основной целью проводимого нами исследования. В нашей работе применяются как математические, так и лингвистические методы.

Ранее нами были проанализированы речевые формулы извинения в английском языке ^{[3],[4],[7],[8]} и проведена формализация кластера оправданий ^[2]. Мы получили 11 основных формул, в соответствии с которыми могут строиться оправдания. Первостепенную роль в процессе формализации кластеров различных речевых актов играет инструментарий, который с адекватной точностью позволил бы выделять тексты, содержащие определенные речевые акты, среди множества текстов. Среди нескольких возможных вариантов (Naive Bayes, SVM – Support Vector Machines, нейронные сети) нами был выбран классификатор на основе опорных векторов, подробное описание которого можно найти в ^[1]. Использование метода опорных векторов SVM может быть отнесено к одному из наиболее распространенных и эффективных способов решения задач распознавания образов ^[6],[9],[10]. Для программной реализации инструментария был использован язык программирования Python 2.7 и библиотека методов машинного обучения Scikit-learn, предоставляющая готовую реализацию метода опорных векторов.

В данной работе мы применяем четырехшаговый алгоритм статистического анализа речевых формул оправдания, а именно:

Шаг 1. Формирование вектора признаков для классификатора

Шаг 2. Классификация исследуемой выборки

Шаг 3. Классификация текстов корпуса

Шаг 4. Верификация выборки.

Далее мы подробно разберем каждый из шагов.

Шаг 1. Формирование вектора признаков для классификатора

Любая задача классификации предполагает формирование вектора признаков для классификатора. Для того чтобы сформировать данный вектор, мы использовали полученные формулы:

· APOLOGIZING + [but] + I (we/my_noun) + STATIVE VERB + NEGATION + ACTION;

· APOLOGIZING + [but] + I (we/my_noun) + STATIVE VERB + [OBJECT/FACT/STATE];

· APOLOGIZING + [but] + I (we/my_noun) + STATIVE VERB + ACTION;

· APOLOGIZING + [but] + I (we/my_noun) + STATIVE VERB + NEGATION + [OBJECT/FACT/STATE];

· APOLOGIZING + [but] + I (we/my_noun) + DYNAMIC VERB + NEGATION + [OBJECT/FACT/STATE];

· APOLOGIZING + [but] + I (we/my_noun) + DYNAMIC VERB + [OBJECT/FACT/STATE];

· APOLOGIZING + [but] + FORMAL SUBJECT + STATIVE VERB + [OBJECT/FACT/STATE];

· APOLOGIZING + [but] + FORMAL SUBJECT + DYNAMIC VERB;

· APOLOGIZING + [but] + you/your_noun + DYNAMIC VERB;

· APOLOGIZING + [but] + NOUN + STATIVE VERB + [OBJECT/FACT/STATE];

· APOLOGIZING + [but] + NOUN + … + NOUN.

Наиболее очевидное решение в данной ситуации – использовать в качестве признаков все уникальные компоненты выведенных формул. Однако такой подход не позволяет учитывать порядок слов в текстах, являющийся существенным при рассмотрении оправданий. Вследствие этого в вектор признаков были включены также биграммы компонентов формул (например, but+ I(we/my_noun) или NEGATION + STATIVE VERB). Итоговый вектор признаков состоит из 38 элементов, включающих одиночные компоненты и биграммы. Набор биграмм формировался с учетом того, что некоторые компоненты формул (but, OBJECT/FACT/STATE) не являются обязательными, и, как следствие, включает в себя не только биграммы APOLOGIZING + but и but + I(we/my_noun), но и биграмму APOLOGIZING + I (we/my_noun) (аналогично для компонентов FORMAL SUBJECT, you/your_noun и NOUN).

Шаг 2. Классификация исследуемой выборки

Исследуемая текстовая выборка состояла из 250 текстов, причем 150 текстов содержали в себе оправдания, 50 текстов содержали объяснения, несколько схожие с оправданиями по структуре, и оставшиеся 50 текстов не содержали извинений и их сателлитов (далее “прочие тексты”). Примеры текстов из выборки приведены в таблице 1.

Данная выборка была разделена на две части: обучающую и тестовую. Обучающая выборка включала в себя 200 текстов, из которых 120 относились к оправданиям, 40 относились к объяснениям и 40 – к прочим текстам. Тестовая выборка состояла из 50 текстовых фрагментов (30 оправданий, 10 объяснений, 10 прочих текстов).

SVM-классификатор, как правило, используется для задач бинарной классификации (когда имеется всего два класса), однако может быть адаптирован также и для задач мультиклассификации (когда количество классов больше двух). Поскольку на этапе формализации было выделено 11 основных формул оправданий, то потенциально мы имеем 12 классов текстов (11 классов различных оправданий и 1 класс “не-оправданий”). Однако небольшой объем исследуемой выборки пока не позволяет свести задачу классификации к многоклассовой – для некоторых классов число примеров в обучающей выборке будет слишком малым (3-5 штук), что негативно отразится на точности классификации. В связи с этим, было решено рассматривать данную задачу как задачу бинарной классификации, выделяя общий класс, включающий в себя все оправдания, и класс не-оправданий.

Для оценки эффективности работы SVM использовались доли ошибок первого и второго рода. Ошибка первого рода, или “ложный пропуск”, возникает, когда классификатор распознает оправдание, как не-оправдание. Ошибка второго рода, или “ложное обнаружение”, возникает, когда классификатор относит не-оправдание к оправданию. Результаты, полученные в ходе исследований, представлены в таблице 2 (данные получены на тестовой выборке после обучения классификатора).

Таким образом, точность классификации на тестовой выборке составила 94%. В 6% случаев классификатор отнес оправдания к “не-оправданиям” (ошибка первого рода), однако, обратной ситуации, когда “не-оправдания” были отнесены к оправданиям (ошибка второго рода), не возникало.

Шаг 3. Классификация текстов корпуса

Для дальнейших исследований нами была сформирована выборка, состоящая из 12 000 текстов языкового корпуса. Она включала в себя по 2 000 текстовых фрагментов, содержащих в себе слова sorry, forgive, excuse, apologize и pardon. Также для исследований были выбраны 2 000 текстовых фрагментов, содержащих в себе слово regret, которое не рассматривалось нами на этапе формализации. Предобработка всех текстов и сама классификация заняла 1.5 часа. Результаты классификации представлены в таблице 3.

На основании полученных данных можно сделать вывод, что более чем в половине случаев (57%), извинению сопутствует оправдание. Рассмотрим результаты классификации более подробно для каждого из слов.

Приведенные результаты показывают примерно одинаковую частоту употребления извинительных слов sorry, forgive, excuse, apologize иpardon при оправдании. Несколько чаще остальных употребляется слово sorry (в 22% случаев). Интересно также отметить, что тексты, содержащие в себе выражение сожаления (regret), чаще всего не содержат в себе оправдание.

В следующей таблице для каждого слова представлены доли оправданий от общего количества текстов, содержащих это слово (2 000 текстов).

Таким образом, можно сделать вывод о том, что употребляя слова sorry, forgive, apologize, excuse и pardon, в большинстве случаев, адресант далее оправдывается (в 75.8%, 70.2%, 67.3%, 61.0% и 60.7% случаев соответственно). А если адресант выражает сожаление (regret), то оправдывается при этом он крайне редко (всего в 6.4% случаев).

Шаг 4. Верификация выборки

Из 12 000 текстов нами было отобрано случайным образом 100 примеров для дальнейшего эксперимента. В ходе проводимого эксперимента испытуемым было предложено классифицировать высказывания на оправдания и не-оправдания. В эксперименте приняло участие 100 преподавателей и/или носителей английского языка.

В результате, из 100 текстов изначальной выборки 54 примера были отнесены большинством испытуемых к текстам, содержащим оправдания, и такие тексты составили 54% выборки. Классификатор показал, что оправдания содержатся в 57% текстов, следовательно, можно утверждать, что точность нашего инструментария превышает 90%.

Заключение

В ходе исследований нами был разработан инструментарий, позволяющий выделять тексты, содержащие оправдания, из общего множества текстов. Для решения задачи распознавания оправданий использовался классификатор на основе опорных векторов. Была достигнута точность классификации 94%, что является хорошим результатом. Также были проведены исследования на большом объеме текстов (12 000 текстовых фрагментов), которые показали, что более чем в половине случаев извинение сопровождается оправданием. Кроме того, в ходе эксперимента, представляющего собой опрос преподавателей и/или носителей языка, было установлено, что нижняя граница точности разработанного нами инструментария составляет 90%. На основании исследований, проведенных на большой выборке текстов, мы планируем расширять обучающую и тестовую выборки до 1000 текстовых фрагментов с целью увеличить точность классификации.