Эффективная классификация текстов на естественном языке и определение тональности речи с использованием выбранных методов машинного обучения

Плешакова Екатерина Сергеевна ORCID: 0000-0002-8806-1478 кандидат технических наук доцент, кафедра Информационной безопасности, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, пр-д 4-Й вешняковский, 12к2, корпус 2 Pleshakova Ekaterina Sergeevna PhD in Technical Science Associate Professor, Department of Information Security, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 4th Veshnyakovsky Ave., 12k2, building 2 espleshakova@fa.ru Другие публикации этого автора     Гатауллин Сергей Тимурович кандидат экономических наук декан факультета «Цифровая экономика и массовые коммуникации» Московского технического университета связи и информатики; ведущий научный сотрудник Департамента информационной безопасности Финансового университета при Правительстве РФ 111024, Россия, г. Москва, ул. Авиамоторная, 8А Gataullin Sergei Timurovich PhD in Economics Dean of "Digital Economy and Mass Communications" Department of the Moscow Technical University of Communications and Informatics; Leading Researcher of the Department of Information Security of the Financial University under the Government of the Russian Federation 8A Aviamotornaya str., Moscow, 111024, Russia stgataullin@fa.ru Другие публикации этого автора     Осипов Алексей Викторович кандидат физико-математических наук доцент, Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, корпус 2 Osipov Aleksei Viktorovich PhD in Physics and Mathematics Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 4th veshnyakovsky str., 4, building 2 avosipov@fa.ru Другие публикации этого автора     Романова Екатерина Владимировна кандидат физико-математических наук доцент, кафедра Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, пр-кт Ленинградский, 49/2 Romanova Ekaterina Vladimirovna PhD in Physics and Mathematics Associate Professor, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 49/2 Leningradsky Ave. EkVRomanova@fa.ru Другие публикации этого автора

Самбуров Николай Сергеевич студент, кафедра Департамент анализа данных и машинного обучения, Финансовый университет при Правительстве Российской Федерации 125167, Россия, г. Москва, пр-кт Ленинградский, 49/2 Samburov Nikolai Sergeevich Student, Department of Data Analysis and Machine Learning, Financial University under the Government of the Russian Federation 125167, Russia, Moscow, 49/2 Leningradsky Ave. ncsamburov@mail.ru

Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финансовому университету на 2022 год по теме «Модели и методы распознавания текстов в системах противодействия телефонному мошенничеству» (ВТК-ГЗ-ПИ-30-2022).

Введение

Классификация текста в последние годы приобрела огромную популярность, и нашла применение этой технологии в различных приложениях, таких как классификация эмоций из текста, классификация спама и многие другие. С появлением социальных сетей люди стали чаще выражать свои эмоции посредством своей деятельности в социальных сетях. Люди передают свои эмоции через сообщения в социальных сетях, такие как комментарии к своим или чужим сообщениям, обзоры, блоги. Машина может обрабатывать данные разных типов ^[1-3]. Например, с фото и видео работают такие сервисы как YouTube и TikTok. Алгоритмы анализируют ваши действия: в расчет берется как тема и направленность видео, язык, и то насколько полно вы смотрите видео. Машина анализирует эти данные, и на их основе рекомендует новые видео, которые вам скорее всего понравятся. Также, при помощи других признаков машину можно обучить распознавать личность на видео или фото. Такие технологии широко используются по всему миру для обеспечения безопасности: предотвращения или расследования преступлений.

По схожему принципу работают все современные музыкальные стриминговые сервисы, например Spotify и Яндекс.Музыка, которые содержат раздел «Рекомендации». Машина анализирует настроение песни, её жанр, язык и популярность.

Многими производителями товаров и услуг также используется машинное обучение для сбора и анализа обратной связи от их клиентов, чтобы в дальнейшем усовершенствовать свой продукт и выгодно выделяться на фоне конкурентов. В таких случаях обрабатывается текст отзывов, а также другие факторы, например был ли оформлен возврат. Одним из других применений машинного обучения в задачах классификации текстов является машинный перевод естественных языков ^[4-5].

В данной работе обучение моделей осуществлялось на текстовых данных публикаций в социальной сети Twitter на тему “COVID-19”. В данной работе авторы рассматривают проблему определения тональности текста. Основной задачей анализа тональности текста является определение эмоциональной наполненности и окраски.

Для выполнения задач классификации текстов существует наиболее подходящих методы: логистическая регрессия, многослойный перцептрон, случайный лес, наивный байесовский метод, метод К-ближайших соседей, дерево решений, стохастический градиентный спуск.

Оценка моделей происходит при помощи различных показателей - достоверность предсказаний, точность, полнота и F-оценка. Также, одной из задач является применение технологий по улучшению качества моделей.

Классификация текста

Задача определения тональности текста идентична другим задачам классификации текстов. Машина анализирует текст, выделяя ключевые слова, их смысловую нагрузку и значимость для определения настроения, на основании чего делает свой вывод. Тональность текстов можно разделить на три основные группы - негативная, позитивная и нейтральная, где последняя означает отсутствие эмоциональной окраски у текста. Для решения поставленной задачи был выбран набор данных «Coronavirus tweets NLP» ^[6-7].

Так как при классификации текстов машина распознает ключевые слова, целесообразным будет составить «облако слов» для текстов всех публикаций датасета.

Для корректного обучения модели и получения чистых результатов необходимо выполнить очистку текста от лишних символов и бессмысленных слов. Первым этапом является удаление знаков препинания, цифр, символов «@» и «#», а также текста протокола HTTP. Существенную часть бессмысленных слов составляют так называемые «стоп-слова».

После очистки обрабатываемого текста составляем словарь для дальнейших исследований

Рис. 1. Токенизация текста

Составляем «облако слов» для очищенных данных:

Рис. 2. «Облако слов» для очищенных данных

Для упрощения дальнейшей классификации классы из столбца «Настроение» заменяются на числовые значения от 1 до 5, где 1- «Крайне негативно», а 5- «Крайне позитивно»:

Обучение моделей. Разделение выборки и векторизация текста.

Следующая задача состоит в том, чтобы закодировать слова в предложениях числовыми представлениями. Для этого можно составить словарь из всех уникальных слов, которые встречаются в датасете и ассоциировать каждое из слов в предложении с этим словарем. В таком случае каждое предложение нужно представить в виде списка, длина которого будет равна размеру словаря уникальных слов (53553 слов в нашем случае), и в каждом индексе такого списка будет храниться, сколько раз то или иное слово встречается в этом предложении. Такой метод называется «Мешок слов» ^[8]. Модель мешка слов (модель BoW) представляет собой сокращенное и упрощенное представление текстового документа из выбранных частей текста на основе определенных критериев, таких как частотность слов. Размер обучающей выборки составил 32925 элементов, тестовой – 8232.

Логистическая регрессия

Одним из самых простых и распространенных инструментов в классификации текстов является логистическая регрессия. Логистическая регрессия подпадает под алгоритм контролируемой классификации ^[9]. Этот алгоритм приобрел важное значение в последнее время, и его использование значительно возросло.

Время обучения модели составило 16.6 секунд. Показатели метрики являются плохими, 57% точности предсказаний говорит о том, что модель ошиблась почти в половине случаев.

По полученным результатам мы видим, что наихудшие показатели при предсказывании положительных и отрицательных публикаций.

Рис. 3. Матрица ошибок. Логистическая регрессия (5)

Полученный результат возник из-за того, что логистической регрессии сложно работать в случаях, когда целевая содержит больше, чем 2 значения. Попробуем уменьшить количество классов и сравнить результаты. Для этого объединим «Крайне положительные» и «Положительные» публикации под одну метку. Такую же операцию проделаем с негативными публикациями и зададим градацию от 0 до 2, где 0 – негативные отзывы, а 2 – позитивные.

После изменения меток распределение классов выглядит следующим образом:

Рис. 4. Распределение классов после объединения меток

После объединения проведем повторное обучение. Результаты значительно улучшились (хорошим показателем считается точность ≈80%). Время обучения составило 9.7 секунд. Подробный отчет показал, что модель лучше всего предсказывает положительные публикации.

Рис. 5. Матрица ошибок. Логистическая регрессия (3)

Так как в работе рассматривается классификация текстов, некоторые слова могут иметь большее значение для распределения текста в ту или иную категорию. Эту проблему решает метод TF-IDF (Term Frequency – Inverse Document Frequency) для векторизации текста. Техника TF-IDF обычно используется для извлечения признаков и для определения терминов, которые неоднократно встречаются в тексте. TF-IDF не появляются повторно в целом для каждой коллекции документов. Выбор связанных ключевых слов и определение метода используются для кодирования этих ключевых слов в контролируемом машинном обучении. Эти ключевые слова могут иметь огромное влияние на возможности методов классификации для извлечения наилучшего шаблона. Данный метод определяет то, насколько часто слово встречается в различных документах и на основе этого присуждает словам значимость для классификации ^[10]. Для этого применим TfidfVectorizer поверх уже существующего «Мешка слов»:

Теперь, для примера, построим новую логистическую регрессию и сравним результаты. Результат показывает что, показатели выросли незначительно, примерно на 1%. При обучении дальнейших моделей будет использоваться как обычный «Мешок слов», так и с применением TF-IDF.

Многослойный перцептрон

Наиболее традиционным типом архитектуры нейронной сети является сеть многослойного персептрона (MLP). Это класс искусственных нейронных сетей с прямой связью, состоящий как минимум из трех слоев узлов: входного слоя, скрытого слоя и выходного слоя. Персептрон — это блок, который получает один или несколько входных данных (значения независимых переменных в модели), подвергает каждый вход уникальному линейному математическому преобразованию, включающему умножение на весовой параметр, суммирование взвешенных входных данных, добавление параметра смещения и обработку. результирующее значение функции активации, которая затем служит выходом блока персептрона ^[11]. Для обучения модели многослойного перцептрона используется классификатор MLPClassifier:

Время обучения модели – 3 минуты 30 секунд.

· Accuracy ≈79% - хороший показатель

· Precision ≈79% - хороший показатель

· Recall ≈79% - хороший показатель

· F-оценка ≈79% - хороший показатель

Рис. 6. Матрица ошибок. Многослойный перцептрон с «Мешком слов»

C применением TF-IDF

Модель обучилась за 3 минуты 53 секунды.

· Accuracy ≈78% - хороший показатель

· Precision ≈78% - хороший показатель

· Recall ≈78% - хороший показатель

· F-оценка ≈78% - хороший показатель

Показатели упали примерно на 1% по сравнению с результатами многослойного перцептрона с «Мешком слов»

Рис. 7. Матрица ошибок. Многослойный перцептрон с TF-IDF

Случайный лес

Случайный лес работает с деревьями решений, которые используются для классификации нового объекта из входного вектора. В этом алгоритме строится большое количество деревьев решений, поскольку они работают вместе. Деревья решений выступают в качестве столпов в этом алгоритме. Случайный лес определяется как группа деревьев решений, узлы которых определяются на этапе предварительной обработки ^[12]. После построения нескольких деревьев лучший признак выбирается из случайного подмножества признаков. Для обучения модели Случайного леса используют классификатор RandomForestClassifier. Модель обучилась за 51 секунду

· Accuracy ≈75% - хороший показатель

· Precision ≈75% - хороший показатель

· Recall ≈75% - хороший показатель

· F-оценка ≈75% - хороший показатель

Рис. 8. Матрица ошибок. Случайный лес с «Мешком слов»

C TF-IDF

Модель обучилась за 46 секунд.

· Accuracy ≈20% - очень плохой показатель

· Precision ≈80% - хороший показатель

· Recall ≈20% - очень плохой показатель

· F-оценка ≈8% - очень плохой показатель

Использование TF-IDF ухудшило качество модели настолько, что её нельзя применять для выполнения задач классификации.

Рис. 9. Матрица ошибок. Случайный лес с TF-IDF

Модель практически все документы определила как «Нейтральные».

Наивный байесовский метод

Алгоритм наивного Байеса используется для распознавания образов и классификации, которые подпадают под различные варианты классификаторов образов для базовой вероятности и правдоподобия ^[13]. Для обучения модели Наивного байесовского используется классификатор MultinominalNB. Модель обучилась за 0,009 секунды.

· Accuracy ≈67% - средний показатель

· Precision ≈69% - средний показатель

· Recall ≈67% - средний показатель

· F-оценка ≈65% - средний показатель

Рис. 10. Матрица ошибок. Наивный байесовский метод с «Мешком слов»

С TF-IDF

Модель обучилась за 0,01 секунды.

· Accuracy ≈63% - средний показатель

· Precision ≈70% - средний показатель

· Recall ≈63% - средний показатель

· F-оценка ≈56% - плохой показатель

Показатели ухудшились примерно 4% по сравнению с моделью Наивного байесовского с «Мешком слов». Наибольшие потери в метрике F-оценка – 9%

Рис. 11. Матрица ошибок. Наивный байесовский с TF-IDF

Метод К-ближайших соседей

Этот алгоритм фокусируется на сохранении похожих вещей ближе друг к другу. Эта модель работает с метками классов и векторами признаков в наборе данных ^[14]. KNN хранит все случаи и помогает классифицировать новые случаи с помощью меры подобия. В K-ближайших соседях текст представляется с помощью пространственного вектора, который обозначается S  =  S ( T1 , W1 ; T2 , W2 ; … Tn , Wn ). Для любого текста с помощью обучающего текста находится и вычисляется сходство, и выбираются тексты с наибольшим сходством. Наконец, классы определяются на основе K соседей. Для обучения модели методом К-ближайших соседей используется классификатор KNeighborsClassifier:

Модель обучилась за 0,003 секунды.

· Accuracy ≈31% - очень плохой показатель

· Precision ≈65% - средний показатель

· Recall ≈31% - очень плохой показатель

· F-оценка ≈29% - очень плохой показатель

Рис. 12. Матрица ошибок. Метод К-ближайших соседей с «Мешком слов»

CTF-IDF

Ввиду некоторых особенностей классификатора в данном случае мы не можем построить модель методом К-ближайших соседей с применением TF-IDF.

Дерево решений

Дерево решений генерирует набор правил, которые можно использовать для категоризации данных с учетом набора атрибутов и их классов. Для обучения модели методом Дерева решений используется классификатор DecisionTreeClassifier. Модель обучилась за 8 секунд.

· Accuracy ≈70% - средний показатель

· Precision ≈70% - средний показатель

· Recall ≈70% - средний показатель

· F-оценка ≈70% - средний показатель

Рис. 13. Матрица ошибок. Дерево решений с «Мешком слов»

С TF-IDF

Модель обучилась за 9 секунд.

· Accuracy ≈61% - средний показатель

· Precision ≈62% - средний показатель

· Recall ≈62% - средний показатель

· F-оценка ≈62% - средний показатель

Показатели ухудшились примерно 8% по сравнению с моделью Дерева решений с «Мешком слов».

Рис. 14. Матрица ошибок. Дерево решений с TF-IDF

Стохастический градиентный спуск

Алгоритм очень похож на традиционный градиентный спуск . Однако он вычисляет только производную потери одной случайной точки данных, а не всех точек данных (отсюда и название, стохастический). Это делает алгоритм намного быстрее, чем градиентный спуск. Для обучения модели методом стохастического градиентного спуска применяется классификатор SGDClassifier. Модель обучилась за 0,226 секунды.

· Accuracy ≈82% - очень хороший показатель

· Precision ≈82% - очень хороший показатель

· Recall ≈82% - очень хороший показатель

· F-оценка ≈82% - очень хороший показатель

Рис. 15. Матрица ошибок. Стохастический градиентный спуск с «Мешком слов»

С TF-IDF

Обучение модели составило 0,127 секунды.

· Accuracy ≈77% - хороший показатель

· Precision ≈77% - хороший показатель

· Recall ≈77% - хороший показатель

· F-оценка ≈76% - хороший показатель

Показатели ухудшились примерно на 5% в сравнении с моделью стохастического градиентного спуска с «Мешком слов».

Заключение

В этой статье представлен обширный и систематический обзор различных методов машинного обучения для определения тональности речи с точки зрения обработки естественного языка. Реализованы такие действия, как: анализ набора данных, создание описательных графиков и статистической информации, предобработка набора данных, выделение признаков и векторизация текста, построение моделей, улучшение качества построенных моделей. Ниже представлена таблица, которая содержит сводную информацию о результатах обучения моделей при помощи методов, рассмотренных в работе:

Рис. 16. Сравнительная таблица моделей

Цветовые обозначения в таблице:

1. Зеленый цвет – улучшение показателя модели или отдельной метрики.

2. Красный цвет - ухудшение показателя модели или отдельной метрики.

3. Синий цвет – модель с наилучшими показателями.