Признаковое пространство и гибридная нейросетевая модель для оценки уровня артериального давления человека по видеоданным

Челышев Эдуард Артурович ORCID: 0000-0001-8417-8823 ассистент; кафедра Вычислительных машин, систем и сетей; Национальный исследовательский университет "МЭИ" аспирант; кафедра Вычислительных машин, систем и сетей; Национальный исследовательский университет "МЭИ" 111250, Россия, г. Москва, р-н Лефортово, ул. Красноказарменная, д. 14 стр. 1 Chelyshev Eduard Arturovich Assistant; Department of Computing Machines, Systems and Networks; National Research University 'MPEI' Postgraduate student; Department of Computing Machines, Systems and Networks; National Research University 'MPEI' 111250, Russia, Moscow, Lefortovo district, Krasnokazarmennaya str., 14, building 1 chel.ed@yandex.ru Раскатова Марина Викторовна ORCID: 0000-0001-7671-3312 кандидат технических наук доцент; Федеральное государственное бюджетное образовательное учреждение высшего образования Национальный исследовательский университет «МЭИ»; Национальный исследовательский университет "МЭИ" 111250, Россия, г. Москва, р-н Лефортово, ул. Красноказарменная, д. 14 стр. 1 Raskatova Marina Viktorovna PhD in Technical Science Associate Professor; Department of Computing Machines, Systems and Networks; National Research University 'MPEI' 111250, Russia, Moscow, Lefortovo district, Krasnokazarmennaya str., 14, building 1 marina@raskatova.ru Федорович Андрей Александрович ORCID: 0000-0001-5140-568X кандидат медицинских наук старший научный сотрудник лаборатории «Микроциркуляции и регионарного кровообращения»; ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России; Москва; Россия старший научный сотрудник лаборатории «Вегетативной регуляции сердечно-сосудистой системы»; ФГБУН ГНЦ РФ «Институт медико-биологических проблем» РАН; Москва; Россия 101000, Россия, г. Москва, Басманный р-н, Петроверигский пер., д. 10 стр. 3 Fedorovich Andrey Alexandrovich PhD in Medicine Senior Researcher; Laboratory of Microcirculation and Regional Circulation, National Medical Research Center for Therapy and Preventive Medicine Senior Research Officer, Laboratory of Autonomic Regulation of Cardiovascular System; Institute of Biomedical Problems of the Russian Academy of Sciences 101000, Russia, Moscow, Basmanny district, Petroverigsky lane, 10 p. 3 faa-micro@yandex.ru Королев Андрей Игоревич ORCID: 0000-0001-9830-8959 кандидат медицинских наук руководитель лаборатории «Микроциркуляции и регионарного кровообращения»; ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России; Москва; Россия 101000, Россия, г. Москва, Басманный р-н, Петроверигский пер., д. 10 стр. 3 Korolev Andrey Igorevich PhD in Medicine Head Laboratory of Microcirculation and Regional Circulation; National Medical Research Center for Therapy and Preventive Medicine 101000, Russia, Moscow, Basmanny district, Petroverigsky lane, 10 p. 3 dr.korolev.andrei@gmail.com

Ососков Виталий Сергеевич ORCID: 0009-0005-9678-1378 младший научный сотрудник лаборатории «Микроциркуляции и регионарного кровообращения»; ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России; Москва; Россия 101000, Россия, г. Москва, Басманный р-н, Петроверигский пер., д. 10 стр. 3 Ososkov Vitaly Sergeevich Junior Researcher, Laboratory of Microcirculation and Regional Circulation; National Medical Research Center for Therapy and Preventive Medicine 101000, Russia, Moscow, Basmanny district, Petroverigsky lane, 10 p. 3 vip.ososkov11@gmail.com

Введение. В настоящее время информационные технологии и машинное обучение находят активное применение в медицине. В последние годы развивается перспективное направление, связанное с применением методов и алгоритмов обработки видеоданных и машинного обучения в задаче оценки физиологических параметров человека. В настоящей работе исследуется задача оценки уровня артериального давления человека на примере данных видеоплетизмографии (англ. remote photoplethysmography). Видеоплетизмография является экспериментальной диагностической процедурой, заключающейся в видеосъемке поверхности кожи человека с дальнейшей обработкой полученных видеоданных для оценки физиологического состояния испытуемого. Данные видеоплетизмографии содержат в себе сведения о колебаниях кровотока поверхностных сосудов кожи человека, которые проявляются в изменении интенсивности цвета во времени. Безусловно, видеоданные, полученные в ходе видеоплетизмографического исследования, являются зашумленными, кроме того, в них присутствуют ошибки квантования камеры и представления цвета. Однако практика показывает, что при надлежащей обработке данных видеоплетизмографии с их помощью удается осуществлять бесконтактный мониторинг физиологического состояния человека ^[1]. Таким образом, для оценки физиологического состояния человека по данным видеоплетизмографии не требуются какие-либо специализированные медицинские устройства, достаточным является применение персонального компьютера или мобильного телефона, оснащенных видеокамерой.

Настоящая работа посвящена задаче оценки уровня артериального давления (АД) по данным видеоплетизмографии. Целью работы является разработка гибридной нейросетевой модели оценки уровня АД по видеоданным и признакового пространства для нее.

Отметим, что АД человека характеризуется двумя параметрами: систолическим (верхним) и диастолическим (нижним) давлением. Таким образом, задача оценки уровня АД может быть сформулирована как задача восстановления регрессии для двух целевых значений.

Существует ряд публикаций, посвященных использованию видеоплетизмографии и обработки ее результатов для задачи оценки физиологических параметров человека. Работа ^[2] посвящена оценке эффективности совместного использования видимого (в модели RGB, англ. Red, Green, Blue) и ближнего инфракрасного света в задаче бесконтактного измерения АД по данным видеоплетизмографии. При сравнении результатов, полученных на видеоряде в формате RGB и ближнем инфракрасном диапазоне, достоверных статистических различий между ними выявлено не было.

В работе ^[3] рассматривается задача оценки уровня АД по видеоданным с использованием гибридной искусственной нейронной сети, сочетающей в себе ResNet18 и двунаправленную LSTM-сеть (англ. Long Short-Term Memory). В данной работе средняя абсолютная ошибка (MAE) достигала 12.35 и 9.54 мм рт. ст. для САД и ДАД соответственно. В работе ^[4] решается задача определения уровня систолического АД по аналогичным данным. В данной работе предложена гибридная нейросетевая архитектура: блок анализа сигнала ВПГ, сочетающий в себе сверточную нейронную сеть и сеть Vision Transformer, блок анализа общих сведений о пациенте, представленный многослойным персептроном, и итоговый выходной блок, также основанный на многослойном персептроне. Наилучшим результатом, достигнутым в данной работе, является значение MAE для САД, равное 11.35 мм рт. ст. В работе ^[5] решается задача оценки уровня гемоглобина в крови и уровня АД на основе данных видеоплетизмографии. Для прогнозирования использовалась искусственная нейронная сеть, основанная на архитектуре U-Net. В работе были получены значения средней абсолютной процентной ошибки (MAPE), равные 7.52 мм рт. ст. для диастолического артериального давления (ДАД) и 9.52 мм рт. ст. для систолического артериального давления (САД). В исследовании ^[6] также используется нейронная сеть, основанная на архитектуре U-Net с использованием обучения с переносом (англ. transfer learning). При этом во всех рассмотренных публикациях размер набора данных не превышал 200 видеозаписей, а в работе ^[6] составил всего 17 человек. Аналогичных отечественных исследований авторам найти не удалось.

Материалы и методы. Настоящее исследование проводилось на добровольцах в процессе госпитализации в ФГБУ «Национальный медицинский исследовательский центр терапии и профилактической медицины» Минздрава России для обследования и подбора/коррекции медикаментозной терапии. Исследование проводилось в соответствии со стандартами надлежащей клинической практики (GCP) и принципами Хельсинкской декларации. Протокол исследования был одобрен локальным этическим комитетом (протокол № 01-05/24 от 30.01.2024 г.). Все испытуемые дали письменное согласие на участие в исследовании. Видеозапись производилась в лаборатории с постоянным микроклиматом (температура +23±1°С, влажность – 40-60%) в положении сидя с использованием видеокамеры с частотой дискретизации 30 Гц. Для равномерности освещения использовалась кольцевая светодиодная лампа. Данный набор данных включает в себя видеозаписи лиц 2251 испытуемого.

Рассматриваемый набор данных включает в себя помимо видеозаписей лиц испытуемых также сведения о наличии или отсутствии у испытуемых ряда хронических заболеваний, таких как 1) артериальная гипертензия (АГ); 2) ишемическая болезнь сердца или постинфарктный кардиосклероз (ИБС/ПИКС); 3) хроническая сердечная недостаточность (ХСН); 4) нарушения ритма сердца (НРС); 5) цереброваскулярные заболевания (ЦВБ); 6) хроническая ишемия нижних конечностей (ХИНК); 7) хронические обструктивные заболевания легких (ХОБЛ); 8) сахарный диабет (СД); 9) системные заболевания соединительной ткани (СЗСТ); 10) заболевания желудочно-кишечного тракта (ЗЖКТ); 11) заболевания мочеполовой системы (ЗМПС). Учитывался также прием медикаментозной терапии по поводу данных заболеваний, физиологические параметры испытуемого (рост, вес, возраст), отношение к курению. Также фиксировались значения АД, измеренные в процессе видеозаписи. В таблице 1 представлены общие характеристики по набору данных.

Таблица 1. Общие статистические характеристики по набору данных

Из всего набора данных только 14,3% человек не имели никаких ХЗ в анамнезе (условно здоровые). 12,6% испытуемых имели одно ХЗ, 16,2% сочетание двух ХЗ, 18,7% – трех, 16,2% – четырех, 11,5% – пяти, 6,4% – шести, 2,7% – семи, 0,9% – восьми и 0,4% человек имели сразу девять ХЗ в анамнезе. Таким образом, практически ¾ испытуемых являются коморбидными пациентами. На этом фоне обращает на себя внимание, что 46% мужчин и 83% женщин никогда не курили.

На рисунке 1 представлена гистограмма распределения значений уровня САД и ДАД. Необходимо отметить, что в рассматриваемом наборе данных распределение значений уровня АД не является равномерным.

Для каждого видеоряда выполнялись следующие шаги: выделение региона интереса и его сегментация, формирование временных рядов пространственных средних интенсивности цвета по сегментам региона интереса, частотная фильтрация, частотно-временной анализ, оконный анализ частотно-временного представления. Для каждого видеоплетизмографического исследования извлекался фрагмент видеоряда длительностью 45 секунд таким образом, чтобы фактический момент измерения артериального давления приходился на середину данного фрагмента.

Выделение региона интереса является важным этапом в силу того, что видеоданные содержат в себе также окружающий фон. Для выделения региона интереса (лица человека) на видео использовался нейросетевой детектор лиц YuNet FaceDetector ^[7]. Выбор данной нейросетевой модели выделения лиц обусловлен ее вычислительной эффективностью и небольшим размером. По полученным границам региона интереса производится обрезка кадра с его дальнейшим приведением к размеру, пригодному для дальнейшей обработки.

Следующим этапом является сегментация региона интереса. По согласованию с медицинскими специалистами были выбраны следующие сегменты региона интереса: левая и правая щёки и левая и правая половина лба. Выбор данных сегментов региона интереса обусловлен различными регуляторными процессами в них ^[8]. Для выделения сегментов региона интереса использовалась предобученная нейросетевая модель разметки ключевых точек лица, основанная на архитектуре ResNet ^[9]. Данная нейросетевая модель производит выделение 68 ключевых точек лица, отмеченных на рисунке 2 синим. Можно, однако, заметить, что в разметке отсутствуют точки, соответствующие верхней границе лба. Для решения данной проблемы было выполнено дополнительное построение шести точек на лбу человека на основе имеющихся точек с учетом геометрических размеров головы человека. Для этой цели осуществлялся расчет угла наклона головы в плоскости изображения по точкам, соответствующим центрам глаз человека. Затем выполнялся поворот всех 68 исходных точек на угол вокруг точки, являющейся серединой отрезка между вышеназванными центрами глаз. После этого выполнялось дополнительное построение точек (отмечены на рисунке 2 красным). Результирующее множество из 74 точек поворачивалось на угол к своему исходному положению. За счет выполняемой таким образом сегментации процесс обработки данных не чувствителен к случайным движениям головы и не требует выполнения этапа совмещения кадров.

Рис. 2. Ключевые точки лица ^[10]

Пусть для видеокадра выделены сегменты региона интереса . Для каждого из четырех сегментов для каждого кадра исходного видеоряда были вычислены пространственные средние значения интенсивности зеленого цвета по формуле (1). Выбор зеленого цветового канала обусловлен тем, что максимально мощная амплитудная модуляция микрокровотока регистрируется именно в зеленом диапазоне ^[11]. Вычисление пространственных средних уменьшает ошибки, внесенные за счет квантования сигнала камеры ^[12]. Пример временного ряда пространственного среднего приведен на рисунке 3.

(1)

где – индекс сегмента;

– индекс видеокадра;

– мощность множества точек сегмента (количество пикселей в нем).

Рис. 3. Пример временного ряда интенсивности цвета

Была произведена частотная фильтрация полученных временных рядов с использованием полосового фильтра Баттерворта 4-го порядка с нижней частотой Гц и верхней частотой Гц. Выбор данных частот обусловлен предметной областью. Данный частотный диапазон был выбран по согласованию с медицинскими специалистами, так как именно в нем находятся колебания кровотока, обусловленные различными регуляторными механизмами организма ^[13].

Затем полученные сигналы были подвергнуты частотно-временному анализу посредством непрерывного вейвлет-преобразования (НВП). Фурье-анализ в данном исследовании не применялся в силу того, что частотные характеристики колебаний кровотока могут изменяться во времени ^[14]. НВП для дискретного сигнала задается формулой (2). В качестве материнского вейвлета использовался комплексный вейвлет Морле. В результате были получены частотно-временные представления для каждого из 4 сегментов региона интереса.

(2)

где – преобразуемый сигнал;

– масштаб;

– сдвиг;

– материнский вейвлет.

Полученное таким образом частотно-временное представление по-прежнему содержит многочисленные шумы и артефакты. Для снижения зашумленности признакового пространства, подаваемого на вход искусственной нейронной сети, а также повышения степени его интерпретируемости специалистом, необходима дополнительная обработка полученных частотно-временных преставлений. В настоящей работе предлагается метод, основанный на оконном анализе частотно-временных представлений.

Пусть имеются комплексные коэффициенты НВП , а — модули комплексных коэффициентов НВП, вычисленные для сигнала во времени и по шкалам, соответствующим частотам . В соответствии с особенностями предметной области вводятся четыре частотных диапазона колебаний кровотока кожи лица , соответствующих различным регуляторным механизмам в организме человека. Оконный анализ выполняется путём последовательного перемещения скользящего временного окна вдоль частотно-временного представления по оси времени с заданным шагом . Для каждого положения окна из частотно-временного представления выбирается подмножество коэффициентов НВП, соответствующее рассматриваемому частотному диапазону , после чего вычисляются локальные характеристики колебаний в этом диапазоне: частотные, амплитудно-энергетические, динамические и фазовые показатели. Таким образом, каждый временной фрагмент записи преобразуется в вектор признаков, описывающий состояние исследуемого сигнала на данном отрезке времени.

Для каждого частотного диапазона вводится мощность диапазона , определяемая формулой (3) и обеспечивающая устойчивую оценку энергетического вклада диапазона, а также величина , характеризующую амплитуду диапазона, вычисляемая по формуле (4).

(3)

(4)

Для сохранения междиапазонных отношений по мощности и одновременного устранения влияние общего масштаба частотно-временного образа, вводится относительная доля мощности диапазона, определяемая формулой (5). Величина непосредственно отражает распределение энергии между диапазонами. Следовательно, если для некоторого момента времени выполняется , то также выполняется , т.е. отношение порядка сохраняется.

(5)

где — малое число, предотвращающее деление на ноль.

Амплитудно-энергетические показатели, извлекаемые путем оконного анализа, включают в себя средние по временному окну амплитуду , мощность , и относительную долю мощности диапазона . Формируемые таким образом амплитудно-энергетические параметры позволяют оценить мощностные характеристики частотных диапазонов кровотока кожи лица.

Частотные показатели представлены центроидом частоты внутри частотного диапазона во временном окне , задаваемым формулой (6). В работе вычисляется центроид, а не частота, обладающая наибольшими значениями амплитуды в окне потому, что центроид менее подвержен шуму, в то время как выбор на основе амплитуды может приводить к попаданию шума в формируемое признаковое пространство. Отметим, что для частотного диапазона, соответствующего сердечным сокращениям (так называемый кардиальный диапазон), центроид частоты будет давать фактически частоту сердечных сокращений. Таким образом, данный важный для оценки АД параметр включен в формируемое признаковое пространство. Для прочих частотных диапазонов центроид частоты показывает частоту преобладающих в данном частотном диапазоне регуляторных процессов.

(6)

К динамическим показателям относятся показатель вариабельности амплитуды и среднеквадратичное значение крутизны амплитуды , определяемые формулами (7) и (8) соответственно. Вычисление крутизны амплитуды необходимо для оценки интенсивности быстрых изменений в пределах окна и основывается на первой производной . Поскольку операция дифференцирования усиливает высокочастотные шумы и артефакты, перед вычислением крутизны огибающая амплитуды подвергается сглаживанию, в результате чего формируется сглаженный сигнал . В настоящей работе используется сглаживание Савицкого–Голея. Смысл данного вида сглаживания заключается в аппроксимации исходного сигнала на каждом локальном окне. За счет этого при сглаживании сохраняется форма исходного сигнала, а производные получаются стабильнее, чем при использовании сглаживания скользящим средним.

(7)

где – среднеквадратическое отклонение амплитуды в окне ;

(8)

где – функция крутизны амплитуды.

Вычисление динамических показателей позволяет численно оценить изменчивость амплитудных характеристик для каждого частотного диапазона в отдельности, и, как следствие, изменчивость регуляторных процессов организма человека во времени.

Для вычисления фазовых показателей в начале по формуле (9) производится вычисление нормированных (имеющих амплитуду равную 1) коэффициентов НВП . В результате данного преобразования фазовые характеристики анализируемого сигнала не искажаются, при этом устраняется влияние амплитуды. Далее вычисляется взвешенная полосовая сумма нормированных коэффициентов частотного диапазона по формуле (10).

(9)

(10)

где — вес доверия, подавляющий вклад компонент с низким отношением сигнал/шум. В качестве используется функция от амплитуды , ограниченная диапазоном . В настоящей работе предлагается использование для этой цели робастно-нормированной лог-амплитуды.

Фаза диапазона определяется по формуле (11) как аргумент комплексной полосовой суммы. При этом в настоящей работе под подразумевается уже развернутая (накопленная) фаза. Для характеристики неровности фазы внутри окна в выбранном частотном диапазоне в данной работе используется фазовый джиттер. Он характеризует скорость изменения фазы во времени внутри окна : при стабильном колебательном процессе фазовый джиттер мал, при артефактах, низком качестве сигнала или перестройках ритма — возрастает. Фазовый джиттер может служить признаком качества и устойчивости колебательного процесса. Для вычисления фазового джиттера необходимо предварительное вычисление средней круговой частоты частотного диапазона в окне по формуле (12). Далее вычисляется фазовый джиттер по формуле (13). Нормировка, связанная с вычитанием средней круговой частоты во временном окне связана с тем, изменяющаяся во времени фаза при своем дифференцировании может давать характеристику изменения фазы во времени, в то время как фазовый джиттер призван характеризовать колебания фазы вокруг ее основного тренда. Для характеристики значения фазового джиттера в окне используется величина среднеквадратического отклонения фазового джиттера , определяемая формулой (14). Вычисление среднеквадратического отклонения фазового джиттера позволяет выразить численно нестабильность фазовой картины во времени и ее возможную рассогласованность. Данная оценка позволяет корректно учитывать вклад прочих производных от фазы признаков при обучении нейронной сети.

(11)

(12)

где – оператор математического ожидания.

(13)

(14)

По итогу консультаций с медицинскими специалистами было установлено, что характеристики, описывающие скорость распространения кровотока между сегментами региона интереса, также являются информативными для оценки уровня артериального давления. По этой причине дополнительно при выполнении оконного анализа вычисляется задержка распространения волны между сегментами региона интереса.

Пусть имеются два сегмента с индексами и и известны матрицы их комплексных коэффициентов частотно-временного образа и . Тогда вычисляется их взаимная величина по формуле (15). Для повышения надежности полученного результата и уменьшения его зашумленности вводятся веса , определяемые по формуле (16), после чего вычисляется совместная полосовая комплексная сумма для каждого частотного диапазона во временном окне по формуле (17).

(15)

где — операция комплексного сопряжения.

(16)

(17)

По полученной комплексной полосовой сумме может быть вычислен фазовый лаг временного окна по формуле (18) как аргумент совместной полосовой суммы. Вычисление фазового лага является полезным этапом, так как есть основания связывать задержку распространения кровотока между различными участками кровеносной системы и уровень АД. Для перевода фазового лага во временную задержку распространения кровотока между сегментами лица необходимо вычисление эффективной частоты во временном окне, для чего используется центроид частоты по совместной мощности по формуле (19). В этом случае задержку распространения волны между сегментами можно определить по формуле (20).

(18)

(19)

(20)

Для извлеченных амплитудно-энергетических признаков была выполнена робастная нормировка. Нормировка производилась для каждого объекта выборки в отдельности, поскольку размах значений амплитуды для частотно-временных представлений различных объектов выборки значительно различался в силу вариации различных параметров видеосъемки (различия в освещении, в оттенке кожи испытуемого и т.п.). Амплитудно-энергетические признаки были подвергнуты лог-нормализации, после чего выполнялась их робастная нормализация по формуле (21), затем была произведена нормировка к отрезку .

(21)

где – амплитудно-энергетический признак;

;

– межквартильный размах между первым и четвертым квартилями (размах между 25-м и 75-м перцентилями).

Учитывая, что артериальное давление человека является изменяющимся во времени физиологическим параметром, целесообразно использовать для его оценки нейросететвые архитектуры, ориентированные на анализ и обработку последовательностей. В настоящей работе предложена гибридная нейросетевая архитектура, сочетающая в себе одномерную сверточную нейронную сеть и рекуррентную нейронную сеть типа LSTM (англ. Long Short-Term Memory).

Одномерные сверточные нейронные сети, применяемые к временной последовательности признаков, эффективно выделяют локальные устойчивые шаблоны и подавляют кратковременные шумы за счёт свёрточной фильтрации и инвариантности к сдвигу, однако имеют ограниченную способность моделировать зависимости на больших временных интервалах без существенного увеличения глубины сети или размера рецептивного поля. Рекуррентные сети типа LSTM, напротив, ориентированы на учёт долгосрочных временных зависимостей и могут интегрировать информацию по всей длительности записи, но при прямой подаче высокоразмерных и зашумлённых признаков склонны к переобучению и хуже справляются с локальными артефактами, поскольку вынуждены одновременно решать задачи фильтрации и моделирования динамики ^{[15, 16]}.

В связи с этим в настоящей работе предлагается гибридная нейросетевая каскадная архитектура, сочетающая в себе одномерную сверточную нейронную сеть как экстрактор признаков и сеть LSTM как модуль моделирование долговременной динамики и агрегирование информации на уровне всей записи. Экстрактор признаков выполняет подавление шумов и формирует компактное и устойчивое представление последовательности, подаваемое на вход сети LSTM.

На вход сети подаётся трёхмерный тензор, который последовательно обрабатывается двумя одномерными свёрточными слоями с ядром размера 5 и функцией активации ReLU, причём между свёртками в целях регуляризации имеется слой Dropout (слой отсева) с вероятностью 0.2. Выход второго сверточного слоя подаётся на вход LSTM-слою со скрытой размерностью 128; из выходной последовательности LSTM извлекается скрытое состояние последнего временного шага, которое после применения Dropout с вероятностью 0.2 проходит через полновязный линейный слой, формирующий итоговый выход размерности (где – размер батча). Архитектура предлагаемой гибридной модели представлена на рисунке 4.

Рис. 4. Архитектура предложенной нейронной сети (рисунок авторов)

Ввиду несбалансированности распределения целевых переменных применялась техника «oversampling», то есть обучение проводилось с применением стратегии взвешенной функции потерь Хубера. Веса для функции потерь вычислялись на основе гистограммного распределения САД в обучающей выборке с шириной бина 10 мм рт.ст. и параметром по формуле (22), что позволило повысить значимость редких значений АД.

(22)

где – медианное количество образцов по всем бинам распределения;

– количество образцов в конкретном бине.

Модель обучалась в течение 40 эпох с использованием оптимизатора AdamW. Подбор значений гиперпараметров обучения производился посредством стохастического байесовского поиска по пространству гиперпараметров с механизмом прерывания неэффективных сеансов обучения. Качество модели оценивалось по средней абсолютной ошибке (англ. MAE) и среднеквадратичной ошибке (англ. RMSE) для САД и ДАД отдельно. Отбор лучшей модели осуществлялся на основе минимальной суммы RMSE по САД и ДАД на валидационной выборке с сохранением весов модели.

Результаты исследования. Обработка данных и проведение вычислительных экспериментов производились на языке программирования Python. В ходе проведенной фильтрации данных были удалены 93 объекта набора данных (около 4% всего набора) по различным причинам: недостаточная длительность видео, отсутствие необходимой информации об испытуемом и его АД и т.д. Из имевшегося набора данных были удалены объекты с редкими значениями АД (менее 15 объектов на бин гистограммы распределения САД). Фильтрация именно по уровню САД объясняется его большей дисперсией. Разбиение на обучающую, валидационную и тестовую выборки осуществлялось стратифицировано по пациентам для исключения утечки информации между выборками.

На рисунке 5 представлен пример тепловой карты модулей коэффициентов частотно-временного представления (амплитудная скалограмма), полученный для зеленой цветовой компоненты. На тепловой карте прослеживаются горизонтальные полосы, соответствующие колебаниям кровотока человека, принадлежащим определенным частотным диапазонам ^[17].

Рис. 5. Амплитудная скалограмма

Для обученной гибридной нейросетевой модели были получены представленные в таблице 2 значения метрик, достигнутые на тестовой выборке.

Таблица 2. Значения метрик, достигнутые на тестовой выборке

Обсуждение. Разработанная гибридная нейросетевая модель оценки уровня АД по видеоданным показала результаты, сопоставимые с результатами зарубежных исследований по сравниваемым метрикам, хотя качество оказалось несколько хуже рассмотренных работ. Однако при этом необходимо отметить, что в настоящей работе использовался наиболее репрезентативный набор данных (более 2000 валидных объектов), что существенно больше аналогичного показателя в прочих исследованиях.

Согласно общепринятым нормам, для клинического применения устройства измерения уровня АД необходимо, чтобы данное устройство давало погрешность не более 5 мм рт.ст. Разработанная в рамках настоящего исследования гибридная нейросетевая модель не удовлетворяет данному требованию. Кроме того, в процессе ее опытного применения были выявлены случаи, когда модель давала существенно заниженные или завышенные значения АД, особенно в случаях, когда истинное значение АД у испытуемого оказывалось существенно повышенным или пониженным. Мы связываем это с недостаточной репрезентативностью данных исследуемого набора, соответствующих существенным отклонениям уровня АД.

Заключение. В данной работе предложены метод формирования признакового пространства и гибридная нейросетевая модель оценки уровня АД по видеоданным, сочетающая в себе одномерную сверточную нейронную сеть и рекуррентную нейронную сеть типа LSTM. Предложенный метод формирования признакового пространства существенно уменьшает размерность данных, что способствует ускорению их обработки и повышению скорости обучения нейронных сетей. С учетом нестационарной природы кровотока кожи лица был выбран частотно-временной анализ, основанный на НВП для получения частотно-временных образов данных ВПГ.

Полученные значения метрик сопоставимы с результатами зарубежных исследований, хотя и несколько им проигрывают. Опытное применение показывает, что в ряде случаев модель дает заведомо ошибочные оценки, в силу чего не является пригодной для клинической практики. Авторы считают, что важным является сбор данных, соответствующих значениям АД, существенно отклоняющихся от нормальных.

Дополнительно авторам хотелось бы отметить тот факт, что предложенные в рамках данного исследования решения имеют свои ограничения. Прежде всего, необходимо отметить, что сбор данных выполнялся в лабораторных условиях (поддерживался стабильный уровень освещенности, камера располагалась на крепко закрепленном штативе). Необходимо дополнительное исследование влияния переменного освещения и случайных движений лица человека или камеры на качество результатов. Кроме того, важным фактором являются характеристики камеры и ее частота дискретизации. В дальнейшем авторы планируют исследовать эти вопросы.

Однако мы считаем, что разработанное решение после ряда доработок может успешно и широко применяться в профилактических целях как ранний предиктор артериальной гипертензии.

ФИНАНСИРОВАНИЕ / FINANCING

Работа выполнена в рамках государственного задания Минздрава России № 124013100904-7. / The work was carried out within the framework of the state assignment of the Ministry of Health of Russia № 124013100904-7.

Статья публикуется в одобренном рецензентами варианте (после получения последней положительной рецензии, рекомендующей рукопись к публикации) с исправлениями автора (внесенными им после получения предварительных рецензий, рекомендующих рукопись к доработке). Все рецензии (включая предварительные рецензии) опубликованы в открытом доступе непосредственно за текстом самой статьи. Все варианты авторских исправлений хранятся в депозитарии издательства и могут быть доступны по требованию уполномоченных организаций.
Прочитать все рецензии на эту статью

Результаты процедуры рецензирования статьи

Рецензия выполнена специалистами Национального Института Научного Рецензирования по заказу ООО "НБ-Медиа".
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов можно ознакомиться здесь.

В статье исследуется возможность применения дистанционной фотоплетизмографии для оценки артериального давления человека. В заглавии статьи говорится об «оценке физиологических параметров человека», что не совсем соответствует тексту и содержанию работы. Ограничение физиологией при всём уважении к этой науке (я посвятил ей несколько десятков научных статей) несправедливо ограничивает это направление развития и перспективу. И всё же заглавие должно соответствовать исследованиям.
Предмет исследования – уровень АД с оценкой по видеоданным плетизмографии с помощью гибридной искусственной нейронной сети, сочетающей в себе ResNet18 и двунаправленную LSTM-сеть.
Представляют интерес используемые для решения задачи оценки артериального давления математические методы обработки данных использования видеокамер совместно с компьютерной техникой. Предложенная автором методология использует гибридную нейросетевую модель. Объединяет свёрточную нейронную сеть (CNN) в качестве экстрактора признаков, выполняющего подавление шумов и формирующего компактное и устойчивое представление последовательности, подаваемое на вход сети LSTM, и рекуррентную сеть. Используется также метод формирования признакового пространства на основе частотно временного анализа.
Задача измерения АД крайне актуальна как для больных, так и для здоровых людей. Имеет массового пользователя. Технологии бесконтактной оценки физиологических параметров открывают новые возможности для безопасного и удобного дистанционного мониторинга состояния пациентов на дому.
Актуальное внимание в статье уделено подбору, описанию и обоснованию избавления полезной информации от шума. Это беда многих систем измерения. Особенно в медицине с нарушением патологией всех законов и правил. Здесь представленные исследования имеют несомненную методическую ценность.
Всё же неаккуратное включение математических выражений из старых сервисов должно быть обязательно исправлено.
Большинство математических выражений приводятся без описания их смысла. Например, «В результате были получены частотно-временные представления для каждого из 4 сегментов региона интереса …», дается математическое выражение, но без обоснования.
Подробное описание смысла преобразований не дано почти для всех математических выражений статьи. Уверен, что описание математических выражений будет полезно всем читателям, тем более физиологам и медикам.
Отдельный перечень обозначений в формулах был бы также полезен.
То же касается и раздела «Материалы …», который включает в себя видеозаписи лиц 2251 испытуемого, а также, помимо видеозаписей лиц испытуемых, сведения о наличии или отсутствии у испытуемых тех или иных хронических заболеваний, их физиологические параметры, значения АД, измеренные в процессе видеозаписи. Этих данных нет в статье. Хотя АД зависит от их возраста, веса, профессии, физического развития, отношения и участия в исследованиях. Хорошо бы понять, что это в физиологическом плане за люди, как они привлекались к исследованиям. Какова при этом привлечении была роль стимулирования и принуждения.
Очень важно учесть такой естественный показатель сердечно-сосудистой системы как пульс (ЧСС). В большинстве домашних и клинических манометрах он присутствует. То же можно сказать и о реанимационных мониторах. Его нужно в перспективе учесть, так как он тесно и сильно влияет на систолическое и диастолическое АД. Время измерения и его длительность также сказываются на АД.
Не могу не заметить, что обучение нейросети зависит от направленности на диагностику или на профилактику.
Библиография включает 18 источников. Список литературы в целом адекватен.
Исследование отличается продуманной методологией и репрезентативным набором данных. Хотя у работы есть ограничения, она вносит вклад в науку и открывает новые возможности для изучения бесконтактного мониторинга АД. Результаты будут полезны специалистам в области медицинской информатики и цифровой диагностики, а также разработчикам алгоритмов машинного обучения.
Надеюсь, что замечания будут полезны коллективу исследователей, грубые ошибки, особенно небрежности, будут учтены. И так как это первое исследование по оценке уровня АД по видеоплетизмографии, отличающееся оригинальным использованием гибридной нейросетевой каскадной архитектуры, то я рекомендую статью напечатать в журнале «Программные системы и вычислительные методы».

Полный текст рецензии на сайте
Национального Института Научного Рецензирования

QR код для проверки
подлинности рецензии

Результаты процедуры повторного рецензирования статьи

Рецензия выполнена специалистами Национального Института Научного Рецензирования по заказу ООО "НБ-Медиа".
В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов можно ознакомиться здесь.

Представленная статья на тему «Признаковое пространство и гибридная нейросетевая модель для оценки уровня артериального давления человека по видеоданным» соответствует тематике журнала «Программные системы и вычислительные методы» и посвящена вопросу применения методов и алгоритмов обработки видеоданных и машинного обучения в задаче оценки физиологических параметров человека. Работа посвящена задаче оценки уровня артериального давления (АД) по данным видеоплетизмографии.
Авторы в качестве цели работы указывают разработку гибридной нейросетевой модели оценки уровня АД по видеоданным и признакового пространства для нее.
В статье представлен достаточно широкий анализ литературных российских и зарубежных источников по теме исследования. Список литературы содержит семнадцать источников, на все источники в тексте имеются ссылки.
Стиль и язык изложения материала является научным и доступным для широкого круга читателей. Статья структурирована – в наличии введение, основная часть (материалы и методы; результаты исследования; обсуждение), заключение.
Теоретико-методологической основой статьи являются работы таких авторов, например: Челышев Э.А., Раскатова М.В. (Методы и алгоритмы машинного обучения в задаче оценки уровня артериального давления); Димитриченко Д.П. (Оптимизация рекуррентной нейронной сети при помощи автоматов с переменной структурой); Fallet S., Moser V., Braun F., Vesin J.-M. (Imaging photoplethysmography: What are the best locations on the face to estimate heart rate?).
В работе рассматривается задача оценки уровня артериального давления по видеоданным с использованием гибридной искусственной нейронной сети, сочетающей в себе ResNet18 и двунаправленную LSTM-сеть.
Обработка данных и проведение вычислительных экспериментов производились на языке программирования Python. В ходе проведенной фильтрации данных были удалены 93 объекта набора данных (около 4% всего набора) по различным причинам: недостаточная длительность видео, отсутствие необходимой информации об испытуемом и его артериального давления и т.д. Из имевшегося набора данных были удалены объекты с редкими значениями артериального давления. Разбиение на обучающую, валидационную и тестовую выборки осуществлялось стратифицировано по пациентам для исключения утечки информации между выборками.
В работе результаты исследования представлены в виде табличного и графического материала (имеется пять рисунков и две таблицы).
Авторами разработана гибридная нейросетевая модель оценки уровня артериального давления по видеоданным, полученные результаты сопоставимы с результатами зарубежных исследований по сравниваемым метрикам, хотя авторы отмечают, что качество оказалось несколько хуже рассмотренных работ.
Статья «Признаковое пространство и гибридная нейросетевая модель для оценки уровня артериального давления человека по видеоданным» может быть рекомендована к публикации в журнале «Программные системы и вычислительные методы».

Полный текст рецензии на сайте
Национального Института Научного Рецензирования

QR код для проверки
подлинности рецензии