Автоматизированное создание семантически размеченного корпуса словосочетаний

Зарипова Диана Александровна ORCID: 0000-0003-1121-1420 аспирант, кафедра фундаментальной и прикладной лингвистики, Московский Государственный Университет 119991, Россия, г. Москва, микрорайон Ленинские Горы, 1, строение 51 Zaripova Diana Aleksandrovna Postgraduate student, Department of Theoretical and Applied Linguistics, Lomonosov Moscow State University 119991, Russia, Moscow, Leninskie Gory str., 1, building 51 diana.ser.sar96@gmail.com

Лукашевич Наталья Валентиновна доктор технических наук, кандидат физико-математических наук профессор, кафедра теоретической и прикладной лингвистики, Московский Государственный Университет имени М.В. Ломоносова 119991, Россия, Москва, г. Москва, микрорайон Ленинские горы, 1, строение 51, ауд. 953 Lukashevich Natal'ya Valentinovna Professor, Department of Theoretical and Applied Linguistics, Lomonosov Moscow State University 119991, Russia, Moscow, Moscow, Leninskie Gory microdistrict, 1, building 51, room 953 louk_nat@mail.ru

Введение

Задача автоматического разрешения лексической неоднозначности (Word Sense Disambiguation, WSD) играет важную роль в автоматической обработке естественного языка (Natural Language Processing, NLP). Результаты WSD влияют на качество решения таких более высокоуровневых задач, как машинный перевод ^[1], информационный поиск ^[2], анализ тональности ^[3]. Однако для обучения и тестирования моделей WSD необходимы объёмные корпуса с семантической разметкой, создание которых является трудоёмким и длительным процессом. Корпуса словосочетаний, размеченных по значениям, могут значительно упростить разметку. Теоретическим основанием такого подхода выступает гипотеза «одного значения на словосочетание». В таком случае нет необходимости принимать решение о разметке каждого слова по отдельности, можно сразу проставлять теги для лексем словосочетания, найденного в корпусе. Самым известным примером размеченного корпуса словосочетаний является SyntagNet ^[4], состоящий из более 80 тысяч словосочетаний и доступный на пяти языках.

В статье описывается процесс создания такого корпуса, теоретические основания, а также разные подходы к семантической разметке словосочетаний. Цель работы — исследовать возможности автоматической разметки словосочетания с целью создания размеченного корпуса для русского языка. Раздел 1 посвящён гипотезе «одно значение на словосочетание» — теоретическому основанию создания корпуса размеченных словосочетаний, в разделе 2 приводятся примеры существующих корпусов словосочетаний, в том числе SyntagNet. В разделе 3 разбираются эксперименты по разметке корпуса словосочетаний на материале русского языка, раздел 5 содержит анализ ошибок. Статья завершается краткими выводами и направлениями для будущих исследований.

Корпуса, размеченные с помощью описанных в статье методов, а также файлы с ошибками моделей и «золотой стандарт» размещены в открытом доступе на GitHub по адресу: https://github.com/Diana-Zaripova/SemanticallyAnnotatedCollocationCorpus/.

1. Гипотеза «одно значение на словосочетание»

В работе ^[5] была сформулирована гипотеза «одного значения на словосочетание»: в составе словосочетания многозначные слова встречаются в одном конкретном значении. Авторы исследовали распределение значений многозначных слов в рамках словосочетаний на материале нескольких типов словосочетаний. Средний процент подтверждения гипотезы «одного значения на словосочетание» составил 95%. Важно отметить, что рассматривались только многозначные слова с бинарной моделью многозначности, то есть имеющие ровно два разных значения.

В статье ^[6] авторы проверяют гипотезу на многозначных словах с более сложными, небинарными, моделями многозначности на материале двух корпусов. При таких вводных данных гипотеза подтвердилась только в 70% случаев. Отдельно авторы отмечают, что необходимо принимать во внимание жанры и типы текстов при проведении исследований многозначности на материале более чем одного корпуса.

Тем не менее, полученные результаты позволяют предположить, что в значительной доле словосочетаний слова появляются в одних и тех же значениях, что позволяет создавать корпус словосочетаний, размеченный по значениям.

2. Корпуса с семантической разметкой

2.1. SyntagNet

SyntagNet (http://syntagnet.org/) — это большой по объёму (более 80 тысяч словосочетаний) ресурс, содержащий размеченные по лексическим значениям вручную словосочетания. Процесс создания корпуса, а также стоящие за этим идеи подробно описаны в статье ^[4]. Основная цель создания подобных лексико-семантических ресурсов — упрощение и ускорение разметки тренировочных и тестовых коллекций данных для обучения, тестирования и оценки качества работы моделей на основе машинного обучения (Machine Learning, ML), часто применяемых в задаче автоматического разрешения многозначности. Кроме того, знание о значении многозначного слова в пределах известного словосочетания может использоваться при решении задачи с помощью методов на основе знаний (Knowledge-based methods). На текущий момент ресурс размеченных по значениям словосочетаний доступен для пяти языков: английского, французского, итальянского, немецкого и испанского.

Словосочетания для корпуса SyntagNet (авторы называют их лексическими комбинациями, lexical combinations) были извлечены из английской Wikipedia (https://en.wikipedia.org/wiki/Main_Page) и Британского Национального Корпуса (British National Corpus, BNC; ^[7]), а затем размечены вручную с помощью инвентаря значений WordNet версии 3.0. Степень согласованности между аннотаторами, измеренная на выборке из 500 словосочетаний, составила 0.71, большинство расхождений в разметке при этом было связано со сложными случаями, где имеет место вариативность тегов, следствие высокой степени детализации значений в WordNet.

Для определения релевантных комбинаций слов авторы ресурса выполнили две процедуры извлечения словосочетаний. Во-первых, из корпуса извлекались слова w1, w2, встретившиеся в пределах скользящего окна в три слова. Извлеченные пары были упорядочены с помощью коэффициента Дайса (Dice’s coefficient), умноженного на логарифм частоты совместной встречаемости слов:

score(w1, w2) = log2(1 + ),

где nw1 (i ∈ {1, 2}) — это частотность слова w1, а nw1w2 это частота совместной встречаемости двух слов w1 и w2 в пределах окна. К списку были применены некоторые фильтры, в частности отбирались пары, связанные между собой одним из пяти основных синтаксических отношений ^[4].

Во-вторых, были извлечены пары слов следующего типа: 1) ширина окна — шесть слов; 2) отсутствует ограничение на тип отношения; 3) не учитываются пары, уже попавшие в первый список и 4) отбирались только единицы, встретившиеся в нескольких словарях английского языка и/или словарях словосочетаний.

Затем восемь аннотаторов производили ручную разметку 20 000 первых словосочетаний из первого списка и 58 000 пар из второго списка по синсетам WordNet. Аннотаторы пропускали пары с ошибками, вызванными автоматическим парсингом, и пары, в которых хотя бы для одного слова невозможно подобрать ни один из синсетов WordNet, а также идиоматические фразы и многословные именованные сущности.

В общей сложности процесс разметки занял 9 месяцев, в результате получилось 78 000 размеченных лексических комбинаций (пар слов) и 88 019 семантических комбинаций, то есть сочетаний синсетов WordNet.

Пример разметки словосочетаний в корпусе SyntagNet:

(1) a. 09827683n 10285313n baby n boy n

b. ID синсета для первого слова ID синсета для второго слова первое слово часть речи первого слова второе слово часть речи второго слова.

Авторами были проведены эксперименты с целью оценить качество работы модели WSD на основе знаний, обогащённой информацией из SyntagNet, и сравнить его с качеством той же модели, но дополненной информацией из других лексических баз знаний, а также качеством моделей машинного обучения с учителем. Для экспериментов была выбрана модель на основе персонализированного алгоритма PageRank ^[8], подробно описанная в статье ^[9], которая применялась к разным лексическим базам знаний, в том числе к SyntagNet. Среднее значение F-1 меры на пяти англоязычных датасетах составило 71.5%; для сравнения модель из ^[10] на основе рекуррентных нейронных сетей LSTM также продемонстрировала F1-меру, равную 71.5%, в среднем на тех же пяти наборах данных. На материале коллекций данных на разных языках (итальянский, испанский, немецкий, французский) среднее значение F-1 меры модели с информацией из SyntagNet получилось самым высоким среди измеренных (69.3) и превзошло результаты моделей на основе нейронных сетей.

Таким образом, представляется, что размеченные корпуса словосочетаний являются полезным ресурсом, однако разметка корпуса по значениям является достаточно трудоемкой, что ставит вопрос об автоматизации разметки.

2.2. Размеченные данные для русского языка

Для русского языка на данный момент существует недостаточно семантически аннотированных корпусов, в принципе, о существовании корпусов словосочетаний нам вообще неизвестно. Однако стоит упомянуть недавнюю работу ^[11] по автоматическому созданию корпусов с семантической разметкой на основе однозначных родственных слов. Полученные в ходе экспериментов корпуса, а также исходный код доступны по ссылке: https://github.com/loenmac/russian_wsd_data/tree/master/data. Также в исследовании ^[12] авторами были вручную аннотированы тексты средней длины из коллекции OpenCorpora (http://opencorpora.org/).

3. Данные и эксперименты

3.1. Цели, данные и предобработка

Авторами статьи был проведён ряд экспериментов по автоматическому порождению семантически размеченного корпуса словосочетаний в формате SyntagNet, но для русского языка. Целью создания корпуса является упрощение процесса разметки данных для тестирования и обучения моделей WSD на основе машинного обучения, а также для использования в моделях автоматического разрешения лексической многозначности, основанных на знаниях и правилах.

Разрешение многозначности происходило с помощью семантически близких слов, найденных в рамках группировок словосочетаний по первому и по второму слову. Основная идея метода заключается в предположении, что слова, встречающиеся с одним и тем же словом на одной позиции, имеют некоторую семантическую близость, которая позволит автоматически разрешать многозначность. Ниже приведены примеры таких группировок.

(2) Пример группировки словосочетаний по первому слову:

абонентский терминал

абонентский книжка

абонентский номер

абонентский база

абонентский служба

абонентский устройство

(3) Пример группировки словосочетаний по второму слову:

сушеный абрикос

урожай абрикос

косточка абрикос

заготовка абрикос.

Источником словосочетаний выступил корпус текстов русскоязычных новостей за 2017 год объёмом 8 Гб. На первом этапе были извлечены все словосочетания из корпуса, в которых оба слова относятся либо к существительным, либо к прилагательным, например:

(4) a. местный житель: прилагательное + существительное

b. кубок конфедерация: существительное + существительное

Словосочетания были упорядочены по мере взаимной информации MI3:

MI3(w1, w2) = .

Далее использовался тезаурус RuWordNet (https://ruwordnet.ru/ru), лексико-семантический ресурс по типу WordNet для русского языка ^[13], для распределения сначала 100 000, а затем 200 000 пар слов на четыре категории: a) хотя бы одного слова нет в RuWordNet; b) словосочетание как отдельная единица присутствует в RuWordNet; c) оба слова однозначны и d) хотя бы одно слово многозначно. Примеры пар из каждой категории приведены ниже:

(5) a. Хотя бы одного слова нет в тезаурусе: неиммиграционный виза, шаговый доступность, вотум недоверие, фазовый автофокус;

b. Словосочетание есть в тезаурусе как отдельная единица: отопительный сезон, прибор учет, куриный яйцо;

c. Оба слова однозначны: краеведческий музей, декан факультет, пятизвездочный отель;

d. Хотя бы одно слово многозначно: мокрый снег, прием гражданин, сигнал светофор.

Распределение первых 100 000 и 200 000 пар по этим группам приводится в таблице 1:

Таблица 1

Словосочетания из первой категории сразу помещаются в корпус в формате, схожем с SyntagNet:

слово1 слово2 <часть речи для слова1> <часть речи для слова2>.

Например:

(6) петербургский метро 2642-A Adj 192-N N.

Словосочетания из категории d (хотя бы одно слово многозначно, и оба слова есть в RuWordNet) являются целевыми, то есть нуждаются в разрешении многозначности для занесения в корпус.

3.2. Использование родственных слов для разрешения многозначности

Во всех следующих этапах принимали участие только пары слов из четвёртой категории (d). Сначала они были сгруппированы двумя разными способами: 1) по первой лексеме и 2) по второй лексеме.

Затем группы словосочетаний по первому и второму слову были дополнены теми парами слов, которые вошли в категорию словосочетаний, содержащихся в RuWordNet как отдельная единица, а также словосочетаниями из RuWordNet, которые также размечены по значениям в самом тезаурусе и первое или второе слово в которых совпадают с тем словом, по которому организована соответствующая группа.

Например, для словосочетания абрикосовый цвет, в котором каждое слово по отдельности соотнесено с тремя синсетами RuWordNet, в тезаурусе уже есть разметка по значениям:

(7) абрикосовый цвет 109498-A 106944-N.

На следующем этапе для разрешения многозначности слов в рамках словосочетаний производился поиск близких и дальних семантически родственных слов в рамках осуществлённых ранее группировок по тезаурусу RuWordNet: синонимов, гиперонимов, гипонимов, так называемых «дальних родственников» (более подробно описывается ниже). Для каждого слова каждой пары слов в рамках группы сохранялся список синонимов, гипонимов и гиперонимов, а также массив значений — синсетов RuWordNet, за которые «голосуют» эти родственники, т. е. являются семантически близкими. Так, для отношения синонимии такими синсетами признаются общие для синонимов синсеты, для гиперонимии и гипонимии — те значения, которые связаны соответствующим отношением с гиперонимом и гипонимом, соответственно. Подход к решению задачи автоматического порождения корпусов с семантической разметкой на основе слов с родственными значениями описан в статье ^[11]: авторы используют однозначные родственные слова для автоматического разрешения многозначности в процессе автоматической разметки по значениям.

Например, в группе словосочетаний по первому слову абстрактный есть пара (абстрактный, живопись), и в данной группе для второго слова — живопись — нашлись следующие синонимы: полотно и картина, причём оба синонима голосуют за одно конкретное значение целевой лексемы — 6001-N (‘произведение живописи’), а именно данный синсет входит в пересечение наборов синсетов для всех трёх лексем. В другой группе словосочетаний, сформированной уже вокруг второго слова, у пары (район, авария) для первой лексемы район был обнаружен гипероним место, голосующий за значение 106611-N (‘место, местность’).

В качестве «дальних родственников» извлекались синсеты, отстоящие от целевого слова на два отношения по иерархии тезауруса, рассматривались следующие типы таких цепочек отношений:

1) s1 →гипероним s2 →гипероним s3;

2) s1 →гипоним s2 →гипоним s3;

3) s1 →гипероним s2 →гипоним s3;

4) s1 →гипоним s2 →гипероним s3.

3.3. Методы взвешивания

После того как в каждой группе по всем парам была собрана информация о родственных связях входящих в их состав многозначных слов, а также о том, за какие значения они голосуют, встала задача разрешить многозначность слов, а именно выбрать только одно значение и, соответственно, синсет RuWordNet. Авторами были протестированы разные подходы к выбору значения.

Самый простой способ — это отобрать те пары, у которых для каждого слова в итоге осталось по одному значению. Так происходит, когда все родственные слова голосуют за одно-единственное значение слова либо когда слово изначально было однозначным. Однако число таких пар оказалось невелико: для выборки из 200 000 пар всего 22 073. Поэтому были применены разные алгоритмы взвешивания значений на основе семантически близких слов.

3.3.1. Простой алгоритм взвешивания

Простой алгоритм взвешивания заключался в выборе того значения, которое получило максимальное число голосов от значений-родственников. Для тех многозначных слов, где такое значение только одно, алгоритм возвращает это значение, иначе возвращает None.

3.3.2. Взвешивание на основе Shortest is-a-Path

Также в процессе экспериментов применялся алгоритм взвешивания на основе расстояний между синсетами по тезаурусу RuWordNet, а именно пути от целевого значения до значения родственника, голосующего за это значение ^[14]. Для каждой пары значение-родственник подсчитывался путь по следующей формуле:

path(a, b) = .

Далее значения счётчиков по каждому значению взвешиваются с помощью полученных значений путей по тезаурусу до родственника.

3.3.3. Взвешивание на основе предобученных векторов Word2Vec

Для данного метода взвешивания использовались вектора сокращённой размерности Word2Vec ^[15] для русского языка с ресурса RusVectōrēs (https://rusvectores.org/ru/) ^[16], обученные на материале Национального Корпуса Русского Языка (НКРЯ) и русского сегмента Wikipedia за ноябрь 2021 года (размер корпуса 1.2 миллиарда слов). Размерность векторов равнялась 300, для получения векторов применялся алгоритм Continuous Bag-of-Words (CBOW). На основе данной модели для каждой пары значение многозначного слова — голосующее за него родственное значение подсчитывалась косинусная мера близости (cosine similarity) их векторов Word2Vec, если таковые имеются в модели по формуле:

cosine similarity = / .

Счётчики голосов за то или иное значение взвешивались с помощью значения косинусной меры близости для значения и голосующего за него родственника.

3.3.4 Взвешивание на основе предобученных векторов FastText

Также был протестирован алгоритм взвешивания на основе косинусной меры близости предобученных векторов сокращённой размерности FastText (https://github.com/facebookresearch/fastText) ^[17]. При подсчёте использовалась та же формула, что в подпункте 3.3.3.

3.3.5. Взвешивание на основе векторов BERT

Кроме того, в экспериментах использовались вектора BERT ^[18]: контекстно-свободные от DeepPavlov через библиотеку transformers для языка Python и вектора для целевого многозначного слова в контексте словосочетания. Далее также подсчитывается косинусная мера двух векторов: для многозначного слова в контексте словосочетания и для слова с родственным значением также в контексте его словосочетания.

3.4. Подготовка тестовой выборки и оценка качества разных методов

Для сравнения разных методов взвешивания была произведена ручная разметка выборки объёмом 1735 пар, которая принималась за «золотой стандарт» для сравнения с результатом работы описанных выше алгоритмов взвешивания и извлечения словосочетаний для корпуса. При этом для всех моделей на первом шаге работы отбирались те пары, в которых у обоих слов многозначность снята полностью, то есть в результате подсчёта и взвешивания голосов по всем значениям слова в итоге можно выбрать одно с наибольшим весом, оно и идёт в результат работы алгоритма. Для оценки качества моделей подсчитывались стандартные метрики: полнота, точность и F1-мера. Результаты приведены в таблице 2 (число пар с полностью снятой многозначностью и F1-мера):

Таблица 2

Как можно увидеть из таблицы многим методам взвешивания удалось достичь F1-меры 80% — на основе контекстных векторов BERT, векторов сокращённой размерности FastText, кратчайшего пути по дереву тезаурусу. Эти же методы позволяют добавить порядка 30 000 новых размеченных пар в корпус.

4. Анализ ошибок

Для анализа ошибок, были выделены словосочетания, в которых ошиблись все модели. Таких словосочетаний оказалось 257. Приведем анализ этих словосочетаний.

К категории пар, при разметке которых ошиблись все изученные методы, относятся в том числе те, для лексем в составе которых в рамках группировок не нашлось подходящих слов-родственников, которые бы помогли при снятии многозначности. Например, при разметке словосочетания ('праздничный', 'концерт') все семь методов допустили ошибку в определении значения второго слова, определив его как ‘скандал, ссора’ вместо правильного ‘концерт, концертная программа’, причём в группировку по первому слову праздничный вошло 80 пар. Другой пример: все модели приписали неверный тег значения второй лексеме в словосочетании ('солдатский', 'каша') — ‘месиво (полужидкая смесь)’, потому что в рамках группировки словосочетаний по первому слову подобрались семантически разные лексемы: котелок, слава, форма, письмо, привал, шинель, казарма, могила, вдова, орден.

В рамках словосочетания ('всероссийский', 'олимпиада') всеми моделями вторая лексема была размечена как ‘олимпийские игры’, однако в новостных текстах, из которых был составлен корпус-источник словосочетаний данное словосочетание чаще употребляется в контексте школьных олимпиад. В группе пар слов по первому слову всероссийский оказалось несколько пар слов, обозначающих спортивные мероприятия всероссийского уровня: тренировка, марафон, автопробег, состязание, регата, чемпионат, гонка, турнир. Попали в группу также пары со вторыми словами, тематически относящимися к школьной предметной области, — школа и урок, но их было всего две и они не связаны родственными отношениями с искомой лексемой.

Некоторые ошибки в разметке были вызваны ошибками на этапе лемматизации, например в словосочетании ('должное', 'образ') первая лексема была определена как существительное должное, образованное с помощью конверсии прилагательного, но на самом деле в данной паре первая лексема должна быть должный (прилагательное).

Тем не менее, несмотря на ошибочную разметку некоторых словосочетаний, не менее 80% словосочетаний были размечены верно разными методами, что позволяет автоматизировать процесс разметки словосочетаний по значениям.

5. Заключение

В статье был рассмотрен подход к автоматическому порождению корпуса словосочетаний в формате SyntagNet с семантической аннотацией. Такие корпуса могут значительно облегчить процесс подготовки тренировочных и тестовых коллекций для моделей машинного обучения, а также применяться в качестве источника знаний в моделях на основе правил и знаний. Создание размеченных корпусов словосочетаний подразумевает принятие гипотезы «одно значение на словосочетание». Для автоматического разрешения лексической многозначности в рамках словосочетаний производились группировки по первой и второй лексеме и поиск родственных слов в рамках данных группировок — синонимов, гиперонимов, гипонимов, более дальних родственников, отстоящих от целевой лексемы на два шага по дереву тезауруса. Значения родственных слов голосуют за тот или иной синсет многозначного слова в рамках словосочетания.

Те пары, у которых для обоих слов после подбора родственных значений осталось по одному синсету, добавлялись в корпус. К остальным словосочетаниям применялись различные методы взвешивания голосов, полученных от родственников: косинусная мера близости векторов Word2Vec, FastText, контекстных векторов BERT, кратчайшего пути по тезаурусу. Большинство методов достигают F1-меры в 80% и позволяют расширить корпус словосочетаний на 30 000 пар.

В результате анализа ошибок была выявлена следующая закономерность: 68.2% словосочетаний, в которых хотя бы один метод допустил ошибку, оказались проблемой для всех моделей. Среди причин неточностей в семантической разметке ошибки, допущенные на этапе лемматизации, состав группировок по первому или второму слову — слова из разных предметных областей, преобладание определённой области.

В качестве направлений будущих исследований можно изучить зависимость качества разметки от объёма группы, оценить вклад разных семантических отношений, а также оценить качество работы методов на более объёмной коллекции с ручной разметкой.