Распознавание эмоций по аудио сигналам как один из способов борьбы с телефонным мошенничеством

Никитин Петр Владимирович ORCID: 0000-0001-8866-5610 кандидат педагогических наук доцент, департамент анализа данных и машинного обучения 125993, Россия, г. Москва, ул. 4-Й вешняковский, 4, оф. корпус 2 Nikitin Petr Vladimirovich PhD in Pedagogy Associate Professor, Department of Data Analysis and Machine Learning 125993, Russia, Moscow, 4th veshnyakovsky str., 4, office building 2 pvnikitin@fa.ru Другие публикации этого автора     Осипов Алексей Викторович кандидат физико-математических наук доцент, кафедра Информационной безопасности, Федеральное государственное образовательное бюджетное учреждение высшего образования «Финансовый университет при Правительстве Российской Федерации» 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, оф. корпус 2 Osipov Aleksei Viktorovich PhD in Physics and Mathematics Associate Professor, Department of Information Security, Federal State Educational Budgetary Institution of Higher Education "Financial University under the Government of the Russian Federation" 125167, Russia, Moscow, 4th veshnyakovsky str., 4, office building 2 avosipov@fa.ru Плешакова Екатерина Сергеевна кандидат технических наук доцент, кафедра Информационной безопасности, Федеральное государственное образовательное бюджетное учреждение высшего образования «Финансовый университет при Правительстве Российской Федерации» 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, оф. корпус 2 Pleshakova Ekaterina Sergeevna PhD in Technical Science Associate Professor, Department of Information Security, Federal State Educational Budgetary Institution of Higher Education "Financial University under the Government of the Russian Federation" 125167, Russia, Moscow, 4th veshnyakovsky str., 4, office building 2 espleshakova@fa.ru Корчагин Сергей Алексеевич кандидат физико-математических наук Заместитель декана факультета информационных технологий, Федеральное государственное образовательное бюджетное учреждение высшего образования «Финансовый университет при Правительстве Российской Федерации» 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, оф. корпус 2 Korchagin Sergei Alekseevich PhD in Physics and Mathematics Deputy Dean of the Faculty of Information Technology, Federal State Educational Budgetary Institution of Higher Education "Financial University under the Government of the Russian Federation" 125167, Russia, Moscow, 4th veshnyakovsky str., 4, office building 2 sakorchagin@fa.ru Горохова Римма Ивановна кандидат педагогических наук доцент, кафедра департамент анализа данных и машинного обучения, Федеральное государственное образовательное бюджетное учреждение высшего образования «Финансовый университет при Правительстве Российской Федерации» 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, оф. корпус 2 Gorokhova Rimma Ivanovna PhD in Pedagogy Associate Professor, Department of Data Analysis and Machine Learning 125167, Russia, Moscow, 4th veshnyakovsky str., 4, office building 2 rigorokhova@fa.ru Другие публикации этого автора

Гатауллин Сергей Тимурович кандидат экономических наук Заместитель декана факультета информационных технологий, Федеральное государственное образовательное бюджетное учреждение высшего образования «Финансовый университет при Правительстве Российской Федерации» 125167, Россия, г. Москва, ул. 4-Й вешняковский, 4, оф. корпус 2 Gataullin Sergei Timurovich PhD in Economics Deputy Dean of the Faculty of Information Technology, Federal State Educational Budgetary Institution of Higher Education "Financial University under the Government of the Russian Federation" 125167, Russia, Moscow, 4th veshnyakovsky str., 4, office building 2 stgataullin@fa.ru

Статья подготовлена в рамках государственного задания Правительства Российской Федерации Финансовому университету на 2022 год по теме «Модели и методы распознавания текстов в системах противодействия телефонному мошенничеству» (ВТК-ГЗ-ПИ-30-2022)

Введение. Развитие мобильной связи напрямую связано с развитием информационных технологий. Возможности, которые дают человеку средства общения, способствуют повышению качества жизни. Применение мобильной связи расширяется с каждым годом, становится неотъемлемой частью жизни практически всех людей. Это порождает увеличение и неправомерных действий, применяющих средства связи. Особенно широко распространяется телефонное мошенничество. В уголовном кодексе Российской Федерации в статье 159 дано определение мошенничества как «хищение чужого имущества или приобретение права на чужое имущество путем обмана или злоупотребления доверием». Таким образом, рассматриваемый вид мошенничества по своей сути направлен на применение информационно-телекоммуникационных технологий для получения личных денежных средств граждан или данных о банковской карте. В этом случае распространяющиеся все более широко возможности электронных платежей становятся способом получения чужих денежных средств. Согласно статье 159.3 УК РФ «электронное средство платежа - средство и (или) способ, позволяющие клиенту оператора по переводу денежных средств составлять, удостоверять и передавать распоряжения в целях осуществления перевода денежных средств в рамках применяемых форм безналичных расчетов с использованием информационно-коммуникационных технологий, электронных носителей информации, в том числе платежных карт, а также иных технических устройств». Становится понятным, что достаточно мошенникам получить конфиденциальную информацию от жертвы, то совершение преступления становится необратимым. Именно поэтому вопросам связанным с предотвращением телефонного мошенничества уделяется такое большое внимание в различных исследованиях.

Особое внимание в современных исследованиях уделено психологическому портрету людей подверженных телефонному мошенничеству. Исследование Н. В. Мешковой, В. Т. Кудрявцева, С. Н. Ениколопова ^[1] рассматривает потенциальные жертвы телефонных мошенников с позиции их психологического портрета. Реализация телефонного мошенничества начинается со звонка и развивается в дальнейшем в зависимости от поведения жертвы: насколько возможно манипулировать ею, навязывать свои правила поведения. Авторы статьи определили факторы людей, которыми пользуются мошенники: «высокий уровень притязаний, неудовлетворенность своим социальным положением, завышенный стандарт потребления и дефицит общения, излишняя доверчивость, не критичное, основанное на суеверии поведение» ^[1].

В диссертационном исследовании А. А. Пудовкина проведен анализ личностных особенностей мошенника и потерпевших от мошенничества. Современный мошенник, совершающий телефонное мошенничество, характеризуется как «интеллектуальный преступник», который имеет высокий уровень образования, компетентен в профессиональной области, связанной с телекоммуникационными технологиями и психологии, имеет навыки актерского мастерства, умение вызвать доверие у незнакомых людей, навыки выполнения рискованных действий. Исследование показало значимость изучения свойств личности, которая становится жертвой преступления и оказывается втянутым в сложные схемы преступников. В связи с этим А. А. Пудовкин определяет, что наиболее подверженными являются люди, с одной стороны, обладающие такими чертами как азартность и авантюризм, с другой стороны, люди не обладающие критическим мышлением, в связи с этим доверчивые и наивные. Еще одной характеристикой является жажда получения легкой наживы и патологическая жадность (Пудовкин, А. А. Уголовно-правовые и криминологические особенности мошенничества: дис. ... канд. юрид. наук: 12.00.08 Санкт-Петербург, 2007 144 с. РГБ ОД, 61:07-12/949).

Свойства виктимной личности, наиболее подверженной насилию, рассмотрены и в работе О. А. Клачковой. В проведенном исследовании определена система психологических свойств характеризующих такие личности и определены их качества. Автор в первую очередь указывает недостаточность внимания и стремление быть замеченным, суметь удивить окружающих. Особое место среди качеств людей подверженных мошенничеству занимает беспечность ^[2].

Анализ представленных исследований показывает, что телефонное мошенничество имеет две противоположные стороны. С одной стороны, находятся мошенники со своими характерными особенностями, с другой – личности подвергаемые мошенничеству. И для достижения результатов должны совпасть обе составляющие, то есть на конкретное мошенническое действие должен найтись человек готовый поверить и выполнить навязываемое ему действие, то есть стать жертвой. И. Г. Моисеева рассмотрела проблему телефонного мошенничества с позиции психологического анализа мошеннических действий посредством электронных средств платежа Автор выделяет виды мошенничества совершенные на основе применения целого ряда средств информационно-телекоммуникационных технологий. Новые технологии и их активное внедрение дают огромный простор для использования в совершении преступлений: от мобильной связи до электронных платежей и пластиковых банковских карт ^[3].

Получение технологии, которая позволит определять мошенника с помощью выявления эмоций в соответствии с общей моделью мошеннических действий, будет способствовать предотвращению действий жертвы.

В исследовании А. А. Романова и В. А. Машлякевич рассмотрены методы применения средств мобильной связи для проведения самых немыслимых преступлений для получения денежных средств при совершении сделок при купле-продаже. Авторами определены алгоритмы совершения мошенничеств с использованием средств мобильной связи ^[4]. Поскольку действия мошенников по разным схемам достаточно вариативны и носят, в некоторой мере, характер, зависящий от конкретной жертвы и конкретной ситуации, то в данном случае можно с помощью его эмоций определить является ли происходящее событие этапом совершения преступления.

По поводу телефонного мошенничества обеспокоены не только пользователи, но и банки. Данное направление постоянно развивается с развитием информационных технологий и доставляет все больше проблем финансовой сфере. Авторы Е. В. Барашева, Д. А. Степаненко провели историческое исследование преступлений с применением информационно-коммуникационных технологий в банковской сфере. ^[5] Данное исследование показало, что мошенничество имеет свою историю развития и становится все более изощренным. А. А. Иванова, В. В. Мищенко также рассматривают актуальность проблем, непосредственно связанных с финансовой деятельностью и методы борьбы с мошенничеством в финансовой сфере. Снижение статистики финансовых преступлений исследователи видят в необходимости повышения, в первую очередь, финансовой грамотности граждан, а также в установлении нормативно-правовых основ борьбы с ними ^[6]. И. В. Сухорукова особое внимание уделяет актуальности проблем, непосредственно связанных с финансовой деятельностью «Сбербанка». В исследовании определено, что кибератаки осуществляются на банк постоянно и выделены наиболее часто применяемые методы осуществления мошенничества и кражи с банковских карт ^[7].

Вопросы предсказания эмоций являются предметом исследований в самых разных областях. Предсказание эмоций, возраста, происхождения по вокальным данным рассматривались в статье A. Anuchitanukul, L. Specia ^[8]. Состязательный многозадачный подход Burst2Vec использует предварительно обученные речевые представления для захвата акустической информации из необработанных сигналов и включает в себя концепцию устранения смещения модели с помощью состязательного обучения. Авторами в процессе исследования достигнуто повышение производительности применения модели на 30 %. Возможности применения исследуемого подхода показывают возможности многозадачного обучения (MTL) для распознавания различных составляющих звонящего по телефону, в том числе эмоций, в борьбе с телефонным мошенничеством.

Исследование А. И. Иванова и И. А. Кубасова ^[9] посвящено необходимости предотвращения телефонного мошенничества путем идентификации голосовых особенностей мошенников. В основе исследования рассматривается создание базы данных голосов и переход на автоматизированные процедуры выявления телефонных мошенников на основе анализа их голосовых портретов. Авторы предлагают применение искусственного интеллекта и для этого выстраивают следующий алгоритм: автоматическая разметка голосового сообщения на кадры; автоматизированное формирование образов-улик путем документирования голоса, которое проводится по ключевым словам и позволяет определить сферу действия мошенника; рассмотрение тональности звуков; применение различных методов распознавание речи ^[9]. Авторами предложен технологический метод, который может служить основой применения искусственных нейронных сетей и их обучения, для определения основных ключевых элементов портрета мошенника по его голосу и тембру звучания. Данное исследование рассматривает основы для применения искусственного интеллекта для распознавания мошенников.

Использование системы голосовой идентификации в качестве дополнительной защиты пользователя рассмотрено в исследовании М. А. Маслова и В. А. Костикова. В статье выделены достоинства и недостатки применения голосовой биометрии для распознавания звонков злоумышленников. Авторы предлагают построение системы голосовой идентификации построенной на основе акустической голосовой модели, лингвистической языковой модели, семантической модели и смысловой модели ^[10].

Таким образом, исследования по борьбе с телефонным мошенничеством постоянно ведутся по разным направлениям. Распознавание эмоций по полученному голосовому сигналу может служит способом борьбы со злоумышленниками. Остановить преступные действия становится возможным в самом начале, если использовать современные все более широко применяемые методы. Среди таких методов наиболее актуальными становится применение методов предиктивной аналитики и машинного обучения.

Данные и методы. Рассмотрим алгоритмы распознавания эмоций по тембру голоса средствами машинного обучения. Доказательства эффективности применения машинного и глубокого обучения в определении авторами были рассмотрены в исследованиях ^[11-16].

Первое, что необходимо сделать, это найти подходящие датасеты. В настоящее время в открытом доступе не так много данных с голосовыми сообщениями, описывающие эмоции. Авторы нашли три больших датасета, которые можно будет использовать в исследовании. Но для нашего исследования ограничимся двумя.

Первый датасет TESS (https://www.kaggle.com/ejlok1/toronto-emotional-speech-set-tess). Он содержит 2800 звуковых дорожек формата WAV. Отметим, что данный датасет озвучен только женскими голосами и размечен по 7 эмоциям: гнев, отвращение, страх, счастье, печаль, удивление, нейтральная эмоция.

Второй датасет SAVEE (https://www.kaggle.com/barelydedicated/savee-database). Датасет озвучен мужскими голосами и размечен по тем же по 7 эмоциям. В нем содержится 3360 звуковых дорожек формата WAV.

Так как среди мошенников (среди жертв) могут быть как мужчины, так и женщины, то для увеличения эффективности разрабатываемой системы, авторы объединили датасеты TESS и SAVEE в один датасет. Таким образом, итоговым датасетом будет датасет, состоящий из 6160 звуковых дорожек формата wav, озвученные как мужскими, так и женскими голосами и размеченный по 7 эмоциям: гнев, отвращение, страх, счастье, печаль, удивление, нейтральная эмоция. На рисунке 1 приведено распределение классов в итоговом датасете.

Рисунок 1. Распределение классов в датасете

Видно, что все эмоции примерно равны, есть небольшое преобладание нулевых эмоций, но все в допустимых пределах.

Основным этапом для решения последующей задачи классификации является этап преобразования звуковых файлов в числовой формат. Отметим, что данное преобразование должно проходить быстро и в тоже время информация не должна терять своей информативности. Авторы исследования пришли к выводу, что наиболее оптимально конвертировать аудиофайлы в мел-кепстральные коэффициенты (MFCC).

Математические преобразования звука в MFCC следующие (на примере слова «один»):

1. Необходимо применить преобразование Фурье для получения спектра аудиосигнала (рис. 2);

Рисунок 2. Временное представление слова "один" и его спектра после преобразования Фурье.

2. Используя окна (весовые функции), равномерно расположенные на оси мела, мы проецируем спектр, полученный на предыдущем шаге, на шкалу мела и переносим этот результирующий график на шкалу частот (рис. 3).

Рисунок 3. Проекция функции окна на частотную шкалу

Видно, что окна более точно сконцентрированы на низких частотах, потому что именно там нам труднее всего различать звуки и именно там нам нужно максимальное количество информации из аудиосигнала.

3. Найдите количество энергии сигнала, которое находится в каждом окне, умножив векторы спектра сигнала на функцию окна (формула 1).

(1)

4. Следующим шагом возводим полученные результаты в квадрат, затем берем логарифм и используем дискретное косинусное преобразование (формула 2).

В результате мы получаем нужный нам результат (рис. 4).

Рисунок 4. Коэффициенты MFCC

Все преобразования были выполнены с использованием языка программирования Python. На рисунке 5 показано преобразование набора данных в коэффициенты мела-кепстрала.

Рисунок 5. Преобразование звуковых данных

В результате мы получили небольшой набор значений, который может заменить тысячи значений важности речевого сигнала или спектрограмм при определении речи в полном объеме. Это значительно повышает скорость обработки данных, практически не жертвуя при этом их информативностью. Полученные наборы данных можно просмотреть по следующей ссылке: https://drive.google.com/drive/folders/1WQflU_1ZYsO4EuCJx9SRB5lUGKDtgEOL ?usp= sharing.

На втором этапе мы будем использовать методы машинного и глубокого обучения для решения задачи классификации. В нашем случае, для задачи определения эмоций.

Были применены следующие методы машинного обучения для решения задачи классификации: логистическая регрессия; RandomForest, градиентный бустинг ^[17-19]. В качестве метрики обучения была взята кривая ROC-AUC.

Лучше всего себя показала модель RandomForest. Результаты обучения модели представлены на рисунке 6.

Рисунок 6. Качество обучения модели

Из рисунка 6 видно, что хуже всех модель угадывает эмоции 4 и 5. Данные эмоции могут быть очень важными в случаях с телефонным мошенничеством. Следовательно, необходимо улучшить результаты модели.

Рассмотрим для этого нейронные сети.

Авторами было протестировано несколько архитектур нейронных сетей: многослойные нейронные сети, сверточные нейронные сети (CNN), рекуррентные нейронные сети (LSTM) ^[20-22]. Лучшие результаты были достигнуты при использовании CNN, с архитектурой, представленной на рисунке 7.

Рисунок 7. Архитектура CNN для распознавания эмоций по тембру голоса

Наилучшие результаты нейросеть достигла при скорости обучения lr = 0,01 через 400 эпох обучений. Точность достигла 98% для каждой из эмоций (рис.8).

Рисунок 8. Результаты обучения нейросети

Для использования данной модели был реализован скрипт, принимающий аудиопоток с входного устройства, вычисляющий MFCC для фиксированных отрывков этого потока и предсказывающий одну из семи эмоций с помощью разработанной модели. Отметим, что модель достаточно легковесна, чтобы проводить классификацию в реальном времени. В скрипте, использующем полученную модель на реальном аудиопотоке с входного устройства использовалась библиотека PyAudio. Результаты были сопоставимы.

Но, все-таки хочется отметить, что ввиду технических ограничений и отсутствия реальных данных, работа системы не была протестирована должным образом (например, в условиях телефонного разговора). Более того, обучение проходило на записях с англоязычной речью, это может давать непредвиденные результаты при работе с другими языками. Но данные замечания не понижают качество исследования.

Выводы. Авторами была разработана и реализована нейросетевая модель определения эмоций по тембру голоса в реальном времени. Результаты исследования показали, что технологии машинного и глубокого обучения можно использовать в качестве способа борьбы с телефонным мошенничеством. Сотовые операторы или банки имеют большие данные с мошенническими разговорами, разговорами жертв. Из этих данных можно получить размеченные датасеты и применив описанные технологии бороться с мошенничеством. Особенно интересно рассмотреть данное исследование в совокупности с уже применяемыми технологиями определения мошеннических разговоров, например, по стоп-словам. Тогда мультимодальная технология будет более эффективной и в большей степени поможет избежать мошеннических действий.