Морфологический анализ текста: функциональные возможности

Данная научная работа была выполнена при финансовой поддержке гранта Президента Российской Федерации для государственной поддержки молодых российских ученых: МК-9349.2016.6 – «Языковые средства репрезентации идентичности в автодокументальных текстах: лингвокогнитивное моделирование».

Важным этапом анализа текста на естественном языке является его морфологический анализ, то есть получение детальных морфологических данных о лексемах, образующих текст. Автоматизация процедуры морфологического анализа и статистической обработки текста является одной из актуальных задач прикладной лингвистики.

Анализ имеющихся программных продуктов по данному профилю показал, что в настоящее время имеется немало разработок ^[6;7] по частотному и морфологическому анализу, но готовых морфоанализаторов с статистической разметкой текстового массива, позволяющих впоследствии на основе извлеченных данных получить интересующую информацию о личности автора, пока нет.

На основе Яндекс MyStemv3.0 ^[8], CentOSLinux, Apachev2.2, PHPv5.3, MySQLv5.5 нами была написана прикладная компьютерная программа «Морфологический анализатор автодокументального текста с последующим профилированием гендерной идентичности автора», позволяющая: 1) делать морфолого-синтаксическую разметку; 2) на основе линейного дискриминантного анализа Фишера диагностировать пол автора текста по соотношению ряда морфолого-синтаксических параметров, являющихся информативными для данной личностной характеристики.

Конечная цель проекта – диагностика половой принадлежности автора автодокументального текста посредством лингвостилистического анализа и установления корреляций между количественными показателями текста и гендерной идентичностью пишущего с помощью предлагаемого морфологического анализатора. Работа выполнена на материале корпуса текстов автодокументальной дискурсивной принадлежности авторов XIX-XX вв. Автодокументальный (мемуарно-автобиографический) дискурс – активная среда реализации специфических параметров категории идентичности, вербализующихся на разных уровнях языковой структуры. Идентичность является центральной категорией автодокументального текста ^{[5, с.66]}. Общий корпус авторских текстов для анализа представлен текстовыми фрагментами (средний объем 480 – 520 лексических единиц) произведений различных жанровых модификаций мужской и женской автодокументальной прозы XVIII – XX вв. Корпус насчитывал свыше 1000 фрагментов 150 авторов (мужчин и женщин).

Интерфейс морфологического анализатора включает в себя 5 полей: «Определение пола», «Анализ текста», «Материалы», «Справка», «О программе» (см. Рис. 1).

Рис. 1. Внешний интерфейс морфологического анализатора.

Вход в систему осуществляется по логину пользователя и паролю. Вкладка «Определение пола»: по фрагменту художественного текста диагностируется пол автора (точность определения пола автора текста составляет 70%). Вкладка «Анализ текста»: по фрагменту художественного текста выводится статистика в разрезе частей речи и типов предложений, используемых в тексте. Вкладка «Материалы»: в разделе есть возможность просмотра, выгрузки в формате Excel или удаления статистики в разрезе частей речи и типов предложений, используемых в тексте, по ранее сохраненным текстам. В разделе «Справка» представлено описание работы автоматизированной информационной системы. Вкладка «О программе» содержит информацию о проекте, в рамках которого создавалась автоматизированная информационная система, его авторе и перечень программного обеспечения, используемого при создании автоматизированной информационной системы.

В рамках настоящей статьи речь пойдет о возможностях морфолого-синтаксической разметки в стилистическом анализе текста. Процедура диагностирования пола на основе линейного дискриминантного анализа Фишера по соотношению ряда морфолого-синтаксических параметров, являющихся информативными для данной личностной характеристики, была подробно освещена в предыдущих работах ^[4].

Разработанная программа делает текстовую разметку по следующим параметрам: количество имен существительных (1), количество глаголов (2), количество личных местоимений (3), количество указательных местоимений (4), количество относительных и вопросительных местоимений (5), общее количество местоимений всех разрядов (6), количество местоименных наречий (7), количество деепричастий (8), количество причастий (9), количество предлогов (10), количество союзов (11), количество частиц (12), количество знаменательных слов (13), количество незнаменательных слов (14), общее кол-во слов в тексте (15), количество сложных предложений (16), количество сложных бессоюзных предложений (17), количество существительных и местоимений (18), количество прилагательных и глаголов (19), количество прилагательных и наречий (20), количество глаголов и существительных (21), количество глаголов, причастий и деепричастий (22), количество существительных, прилагательных и местоимений (23), количество предлогов и союзов (24).

Значимым является также анализ синтаксического уровня текстов, в частности, структуры предложений, однако в настоящее время он недостаточно поддается автоматизации, в связи с чем было взято ограниченное число параметров текстов на синтаксическом уровне: количество предложений; количество сложных предложений; количество сложных бессоюзных предложений. Все эти параметры также оказываются значимыми для моделирования пола автора по тексту.

Данные параметры представляют собой перечень критериев, предложенных Т.А. Литвиновой ^{[3, с. 133]}, но дополненных рядом показателей по методике Е.И. Горошко ^{[1, с. 63]}, а именно – коэффициентом предметности (Pr), равным отношению количества существительных и местоимений к количеству прилагательных и глаголов, коэффициентом качественности (Qu), равным отношению числа прилагательных и наречий к количеству существительных и глаголов, коэффициентом активности (Ac), равным количеству глаголов, причастий и деепричастий к общему количеству слов в тексте, коэффициентом динамизма (Din), равным количеству глаголов, причастий и деепричастий к количеству существительных, прилагательных и местоимений, коэффициентом связности (Con), равным соотношению числа предлогов и союзов с числом самостоятельных предложений.

Для построения модели зависимости пола от морфолого-синтаксических параметров текста использовался линейный дискриминантный анализ Фишера. При этом методе записывается функция линейной регрессии

Y = a + b1Х1 + b2Х2 + ... + bmХm,

где Х1, Х2, ..., Хm – значения факторов, описывающих объект и влияющих на результат, Y – результирующая переменная. В дискриминантном анализе значение результирующей переменной сравнивается с пороговым значением p. В случае, если Y < p, объект относится к первой группе, в противном случае – ко второй.

С помощью функции LinearFit нами получена следующая формула для значения результирующей переменной:

В качестве факторных переменных Xi, кроме перечисленных выше, естественно взять отношения вида xi/x15, где в знаменателе находится общее количество слов в тексте. Значения этих переменных принадлежат отрезку ^{[0; 1]} и выражают долю соответствующих частей речи в тексте. Деление на общее количество слов необходимо, поскольку рассматриваемые тексты имеют разную длину. По аналогичной причине рассматриваются переменные x20/x21 и x18/x19.

Переменные x1, x2, x4, x6,x8,x9, x10 исключены из рассмотрения по одной из следующих причин: 1) чтобы избежать мультиколлинеарности, при которой одна или несколько переменных линейно выражаются через остальные; 2) влияние этих переменных на результат незначительно (соответствующие коэффициенты регрессии bi близки к нулю).

Для сравнительного морфолого-синтаксического анализа нами были взяты автодокументальные тексты В.В. Маяковского (1893-1930) из очерковых записей 1922-1923 и 1925-1926 гг. и Л.Ю. Брик (1891-1978) «Пристрастные рассказы». Из каждого автора мы взяли по 5 однородных выборок средним объемом 500-520 слов и произвели программную разметку по заявленным 24 параметрам (Табл.1-2).

Таблица 1. Морфологическая разметка фрагментов автодокумента Л.Брик

Таблица 2. Морфологическая разметка фрагментов автодокумента В.Маяковского

В каждом из рассмотренных случаев реальный пол автора текста совпал с исчисляемым программой.

Особого рассмотрения в рамках настоящей статьи стали именно коэффициенты предметности (Pr), качественности (Qu), активности (Ac), динамизма (Din) и связности (Con) как особые гендерномаркированные параметры (см.Табл.3).

Таблица 3. Сравнительная (коэффициентная)

морфологическая разметка автотекстов Л.Брик и В.Маяковского

Средняя величина полученных коэффициентов в зависимости от пола автора выглядит следующим образом:

ü коэффициент предметности, средний (Pr): 1,58 (Ж); 2,096(М);

ü коэффициент качественности, средний (Qu): 0,318(Ж); 0,344(М);

ü коэффициент активности, средний (Ac): 0,192(Ж); 0,17 (М);

ü коэффициент связности, средний (Con): 2,898(Ж); 2,436 (М);

ü коэффициент динамизма, средний (Din): 0,402; 0,26 (М).

На основе проведенного анализа данных коэффициентов в автодокументах Л.Брик и В.Маяковского и сравнения полученных результатов с позиции гендера было выявлено, что женская речь менее предметна и менее качественна, чем мужская (что совпало с заключениями целого ряда исследователей по данному профилю (ср.^[2]) и не подлежит сомнению, что гендер влияет на письменное речевое поведение, на выбор языковых средств для построения высказывания.), то есть мужчины изображают мир, действительность более разнообразно, используя качественные характеристики. Однако средние коэффициенты связности, активности и динамизма, предложенные Е.И. Горошко ^{[1, с. 63]}, применительно к рассматриваемым автодокументам в женских текстах оказались незначительно выше мужских показателей, что в свою очередь может быть обусловлено жанровым фактором и авторским идиостилем. Этот аспект изучения нуждается в дальнейшей проработке.

Подчеркнем, что настоящее исследование является пилотным и лишь намечает направления поиска в области профилирования пола автора по тексту на основе морфолого-синтаксических параметров, однако даже на данном этапе подтверждено, что определенная корреляция между морфолого-синтаксическими параметрами текста действительно существует и исследования в этом направлении должны быть продолжены.