Читать статью 'Оценка энтропии фрагментов рентгеновских изображений легких' в журнале Кибернетика и программирование на сайте nbpublish.com
Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Кибернетика и программирование
Правильная ссылка на статью:

Оценка энтропии фрагментов рентгеновских изображений легких

Румянцев Алексей Александрович

аспирант, кафедра Компьютерных систем, Казанский национальный исследовательский технический университет имени А. Н. Туполева – КАИ

420037, Россия, республика Татарстан, г. Казань, ул. Адоратского, 30, кв. 51

Rumyantsev Aleksei Aleksandrovich

Postgraduate student, the department of Computing Systems, Kazan National Research Technical University named after A. N. Tupolev

420037, Russia, respublika Tatarstan, g. Kazan', ul. Adoratskogo, 30, kv. 51

medicalscan@mail.ru
Бикмуратов Фархад Мансурович

аспирант, кафедра Компьютерных систем, Казанский национальный исследовательский технический университет имени А. Н. Туполева – КАИ

420111, Россия, республика Татарстан, г. Казань, ул. Большая Красная, 55, каб. 432

Bikmuratov Farkhad Mansurovich

Postgraduate student, the department of Computing Systems, Kazan National Research Technical University named after A .N. Tupolev

420111, Russia, respublika Tatarstan, g. Kazan', ul. Bol'shaya Krasnaya, 55, kab. 432

txf13@bk.ru
Пашин Николай Павлович

аспирант, кафедра Компьютерных систем, Казанский национальный исследовательский технический университет имени А. Н. Туполева – КАИ

420124, Россия, республика Татарстан, г. Казань, ул. Большая Красная, 55, каб. 432

Pashin Nikolai Pavlovich

Postgraduate student, the department of Computing Systems, Kazan National Research Technical University named after A .N. Tupolev

420124, Russia, respublika Tatarstan, g. Kazan', ul. Bol'shaya Krasnaya, 55, kab. 432

txf13@yandex.ru

DOI:

10.25136/2644-5522.2021.1.31676

Дата направления статьи в редакцию:

10-12-2019


Дата публикации:

01-10-2021


Аннотация: Предмет исследования – медицинские флюорографические рентгеновские снимки грудной клетки. Накопленные базы таких изображений после качественной предобработки могут быть использованы для обучения глубоких сверточных нейросетей, получивших наибольшее развитие в последние годы, обученная сеть осуществляет предварительную бинарную классификацию поступающего потока снимков и может быть использована в качестве помощника врача-рентгенолога. Для этой цели необходимо достаточно точно обучить нейросеть для минимизации ошибок первого и второго рода. Возможный подход к повышению эффетивности применения нейросетей, по критериям уменьшение вычислительной сложности и качество классификации снимков – применение вспомогательных подходов: предобработка изображений и предварительное вычисление энтропии фрагментов. В статье представлен алгоритм предобработки рентгеновского изображения, его деления на фрагменты и вычисления энтропии отдельных фрагментов. В ходе предобработки из всего снимка выделяется интересующая область с легкими и позвоночником, составляющая около 30-40% всего снимка, далее происходит деление снимка на матрицу фрагментов и вычисляется энтропия отдельных фрагментов по формуле Шеннона, за счет анализа отдельных пикселей. Определяя частоту появления каждого из 255 цветов, вычисляется суммарная энтропия. Использование энтропии для обнаружения патологий основано на предположении о различиях ее значений для отдельных фрагментов и общей картины ее распределения между снимками с нормой и патологиями. Анализируются статистические показатели: стандартное отклонение ошибки, дисперсия. Для определения закономерностей в распределении энтропии и ее статистических характеристик на различных фрагментах флюорографического снимка использована полносвязная нейронная сеть.


Ключевые слова:

энтропия изображения, фрагменты, глубокая сверточная нейросеть, машинное обучение, рентгеновские снимки, вычислительный эксперимент, матрицы элементов, предобработка изображения, статистический анализ, бинарная классификация

Abstract: The subject of this research is medical chest X-ray images. After fundamental pre-processing, the accumulated database of such images can be used for training deep convolutional neural networks that have become one of the most significant innovations in recent years. The trained network carries out preliminary binary classification of the incoming images and serve as an assistant to the radiotherapist. For this purpose, it is necessary to train the neural network to carefully minimize type I and type II errors. Possible approach towards improving the effectiveness of application of neural networks, by the criteria of reducing computational complexity and quality of image classification, is the auxiliary approaches: image pre-processing and preliminary calculation of entropy of the fragments. The article provides the algorithm for X-ray image pre-processing, its fragmentation, and calculation of the entropy of separate fragments. In the course of pre-processing, the region of lungs and spine is selected, which comprises approximately 30-40% of the entire image. Then the image is divided into the matrix of fragments, calculating the entropy of separate fragments in accordance with Shannon’s formula based pm the analysis of individual pixels. Determination of the rate of occurrence of each of the 255 colors allows calculating the total entropy. The use of entropy for detecting pathologies is based on the assumption that its values differ for separate fragments and overall picture of its distribution between the images with the norm and pathologies. The article analyzes the statistical values: standard deviation of error, dispersion. A fully connected neural network is used for determining the patterns in distribution of entropy and its statistical characteristics on various fragments of the chest X-ray image.



Keywords:

image entropy, fragments, deep convolutional neural network, machine learning, x-rays images, computational experiment, matrix of elements, image preprocessing, statistical analysis, binary classification

Введение

В настоящее время одним из основных источников диагностической информации в медицине являются рентгеновские изображения. Для осуществления быстрой и качественной автоматизированной обработки снимков, может быть использована обученная глубокая сверточная нейронная сеть, которая анализирует рентгеновские изображения и определяет вероятность наличия заболевания – патологии у пациента, осуществляя бинарную классификацию. Перспективность такого подхода была показана в работе [1]. Повышение эффективности применения рассматриваемого класса нейросетей, по критерию уменьшения вычислительной сложности, может быть достигнуто за счет применения вспомогательных подходов предобработки изображений и предварительного вычисления энтропии его фрагментов. Это востребовано по причине сложности задачи классификации изображений и высоких требований к уровню доверия нейросети. Альтернативой такому подходу может выступать идея использования параллельных СУБД в процессе обучения нейросети [2-7]. Информационная энтропия – мера неопределенности, определяемая Клодом Шенноном для дискретных событий как сумма с противоположным знаком всех относительных частот появления состояния, умноженных на их же двоичные логарифмы [8]. Поскольку рентгеновские изображения представляют собой набор некоторой закодированной информации, то для них также возможен расчет энтропии. Определяя частоту появления каждого из 255 цветов, вычисляется суммарная энтропия. Данный метод применим как к целым изображениями, так и фрагментам заданного размера.

Использование энтропии для обнаружения патологий основано на предположении о различиях энтропии отдельных фрагментов и общей картины ее распределения между снимками с нормой и патологиями. Статистический анализ распределения энтропии на выборках изображений позволяет оценить перспективность данного подхода, а применение нейронных сетей реализовать самостоятельный подход к классификации изображений или повысить эффективность других подходов при помощи локализации аномальных фрагментов.

Для решения задачи расчета, анализа и оценки энтропии реализован набор скриптов обработки снимков, была разработана нейросеть, проведено ее обучение. В статье представлены: описание процесса расчета энтропии и предобработки снимков, используемой базы изображений, статистический анализ и оценка энтропии фрагментов изображений, результаты вычислительных экспериментов по применению полносвязной нейронной сети для задачи бинарной классификации исходных рентгеновских снимков для выделения патологий, оценка эффективности данного подхода.

Выделение легких на изображениях

В рамках рассматриваемой задачи мы имеем дело с рентгеновскими черно-белыми изображениями легких в специальном формате медицинских снимков DICOM. База флюорографических снимков представляет собой статистический набор из 10000/10000 рентгеновских изображений с различной категорией принадлежности: норма, патология. Основную часть снимка занимают легкие и позвоночник, составляющие около 30-40% всего снимка. Поэтому важной задачей при работе с энтропией является предварительное отсечение лишних фрагментов изображения, не содержащих полезной информации. Более подробно существующие методы и используемый алгоритм фрагментного выделения легких описан в работе [9].

Рис. 1 – Примеры снимков: исходный, с выделенным позвоночником, итоговый обработанный

На выходе после обработки данным алгоритмом на основе вспомогательной нейросети формируется частично зафрагментированное черным цветом изображение, содержащее только практически полезную для выявления патологий информацию.

Алгоритм расчета и применения энтропии

Для решения задачи была разработана программная система на языке C# с использованием библиотеки FANN, представляющая собой модуль расчета энтропии по формуле Шеннона для заданного размера фрагментов изображения, модуль полносвязной нейронной сети, а также обучающий модуль на языке C++.

В рамках принятого подхода исходное изображение разделяется на фрагменты, формируя матрицы элементов 4x4, 8x8 и 16x16. Расчет элементов матрицы осуществляется проходом по всем пикселям изображения в ширину и высоту с приращением исходно нулевых элементов частоты распределения цветов для каждого соответству-ющего фрагмента в матрице энтропии. Затем массивы распределения цветов нормализуются и по формуле Шеннона вычисляется энтропия в каждом из фрагментов. В дальнейшем алгоритм при необходимости повторяется, если требуется более детальное изучение отдельных фрагментов. Альтернативой рассмотренного подхода может служить использование параллельных алгоритмов обработки данных.

Результаты расчета энтропии подаются на вход полносвязной нейросети с указанием категории, происходит обучение каскадным алгоритмом [10] и оценка эффективности на тестовой выборке из 1000/1000 снимков.

Статистический анализ энтропии

Для оценки перспективности применения энтропии в задаче медицинской диагностики необходимо произвести первичную оценку результатов расчета энтропии. С целью удобства интерпретации используется фрагментация 4x4 на выборке из 100 равномерно отобранных изображений, с детальным исследованием наиболее интересных фрагментов при 8x8. Диаграммы рядов энтропии для большинства фрагментов не выявили статистически значимой разницы между нормой и патологией (рис. 2).

Рис.2 – Энтропия центральных верхних фрагментов

Однако фрагменты, расположенные в нижней части легких слева и справа от позвоночника (центральные нижние фрагменты) показали заметную разницу в распределении энтропии (рис. 3) при сравнении с линиями (зеленая, голубая) минимальных пиковых значений снимков с нормой и рядом снимков с патологиями, имеющими меньшую энтропию.

Рис. 3– Энтропия центральных нижних фрагментов

Детальное исследование энтропии аномальных фрагментов показало более сложную картину для визуальной фрагментарной интерпретации с меньшими, но заметными отклонениями у центральных фрагментов вдоль позвоночника. Анализ статистических показателей (рис 4, 5) показал рост стандартного отклонения ошибки и дисперсии от верхних к нижним фрагментам, а также преобладающее превосходство данных показателей у снимков с патологией.

Рис. 4 – Статистические характеристики фрагментов (1000/1000 4x4)

Таким образом, можно сделать вывод, что определенные закономерности в распределении энтропии и ее статистических характеристик на различных фрагментах флюорографического снимка имеются и могут быть использованы для более комплексного анализа всей картины распределения на снимке.

Рис. 5 – Статистические характеристики центральных фрагментов (1000/1000 8x8)

Анализ нейронными сетями

Учет распределения энтропии между отдельными фрагментами изображения может позволить обнаруживать закономерности, полезные при выявлении патологий [11]. В рамках данной работы исследована эффективность полносвязной нейронной сети в задаче бинарной классификации исходных рентгеновских изображений [12,13]. Структура нейросети представляет собой входные элементы (16, 64, 256) для анализа матрицы фрагментов соответствующего размера, 1 выход и каскадно формируемую алгоритмом обучения внутреннюю структуру. Сеть каскадной корреляции Фальмана - многослойная конструкция с подбором структуры параллельно при обучении, добавлением одного скрытого нейрона на каждом шаге [14]. Обучающая база представляет собой 10000/10000 снимков, преобразованных в матрицы энтропии. Среднеквадратичная ошибка в ходе обучения составила 0.001.

Полученные результаты представлены в таблице 1. Средняя эффективность классификации по каждой категории возрастает с увеличением степени фрагментации изображения и достигает уровня 67.2%, что говорит о существовании определенных закономерностей в распределении энтропии на флюорографическом снимке. Структура нейросети с увеличением детализации уменьшается, что означает наличие более явных признаков при меньших фрагментах для классификации. Таким образом, распределение энтропии на рентгеновском изображении легких действительно содержит информацию, применимую при классификации в задаче медицинской диагностики и может использоваться как вспомогательный подход, например, в задаче локализации патологии, что является предметом дальнейших исследований.

Таблица 1. Эффективность применения нейросети

Степень фрагментации

Уровень корректной классификации

Количество эпох обучения

(прирост 300 нейронов за эпоху)

4x4

60.4%

220

8x8

64.4%

137

16x16

67.2%

118

Заключение

Проведенное статистическое и экспериментальное исследование энтропии изображения при различной детализации фрагментов показывает возможность применения данной характеристики для классификации патологий на рентгеновских снимках, открывает перспективы для оценки энтропии сверточными нейронными сетями, а также использования данного подхода в качестве средства локализации аномальных фрагментов изображения для детализации анализа в сочетании с другими методами бинарной классификации.

Библиография
1.
Румянцев А.А., Минязев Р.Ш., Дыганов С.А., Голованов Р.А., Перухин М.Ю. Вестник технологического университета, 21, 8, 124-127 (2018).
2.
Минязев Р.Ш., Дыганов С.А., Гумеров И.Р., Перухин М.Ю. Вестник технологического университета, 21, 9, 132-135 (2018).
3.
Минязев Р.Ш., Ханов Л.К., Хафизова А.Ш., Перухин М.Ю. Вестник технологического университета, 20, 23, 65-67 (2017).
4.
Павлов Д.А., Минязев Р.Ш. Поиск эффективных решений в процессе создания и реализации научных разработок в российской авиационной и ракетно-космической промышленности. Сборник материалов международной научно-практической конференции. 2014. С. 542-544.
5.
Минязев Р.Ш. Нелинейный мир, 10, 3, 173-179 (2012).
6.
Минязев Р.Ш., Райхлин В.А. Вестник КГТУ им. А.Н. Туполева, №1, 149-158 (2011).
7.
Райхлин В.А., Минязев Р.Ш. Нелинейный мир, 9, 8, 473-481 (2011).
8.
Шеннон К. Работы по теории информации и кибернетике.-М.: Изд-во иностранной литературы, 1963.-830 с.
9.
Р.В. Захаров. Машинное обучение в медицине. Автоматическое распознавание легких на флюорографических снимках. МатМех СПбГУ, 2016.
10.
C. Manning and R. Socher. Курс лекции: natural language processing with deep learning”. http://web.stanford.edu/class/cs224n/. – Дата обращения: 01.06.2019
11.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.770-778.
12.
R. Sh. Minyazev et al. // Bulletin of the Russian Academy of Sciences: Physics, 2018, Vol. 82, No. 12. P. 1529.
13.
R. Sh. Minyazev et al. // Bulletin of the Russian Academy of Sciences: Physics, 2019, Vol. 83, No. 12. P. 1655.
14.
Осовский С. Нейронные сети для обработки информации / Пер. с польского И.Д. Рудинского.-М.: Финансы и статистика, 2002.-344 с.
References
1.
Rumyantsev A.A., Minyazev R.Sh., Dyganov S.A., Golovanov R.A., Perukhin M.Yu. Vestnik tekhnologicheskogo universiteta, 21, 8, 124-127 (2018).
2.
Minyazev R.Sh., Dyganov S.A., Gumerov I.R., Perukhin M.Yu. Vestnik tekhnologicheskogo universiteta, 21, 9, 132-135 (2018).
3.
Minyazev R.Sh., Khanov L.K., Khafizova A.Sh., Perukhin M.Yu. Vestnik tekhnologicheskogo universiteta, 20, 23, 65-67 (2017).
4.
Pavlov D.A., Minyazev R.Sh. Poisk effektivnykh reshenii v protsesse sozdaniya i realizatsii nauchnykh razrabotok v rossiiskoi aviatsionnoi i raketno-kosmicheskoi promyshlennosti. Sbornik materialov mezhdunarodnoi nauchno-prakticheskoi konferentsii. 2014. S. 542-544.
5.
Minyazev R.Sh. Nelineinyi mir, 10, 3, 173-179 (2012).
6.
Minyazev R.Sh., Raikhlin V.A. Vestnik KGTU im. A.N. Tupoleva, №1, 149-158 (2011).
7.
Raikhlin V.A., Minyazev R.Sh. Nelineinyi mir, 9, 8, 473-481 (2011).
8.
Shennon K. Raboty po teorii informatsii i kibernetike.-M.: Izd-vo inostrannoi literatury, 1963.-830 s.
9.
R.V. Zakharov. Mashinnoe obuchenie v meditsine. Avtomaticheskoe raspoznavanie legkikh na flyuorograficheskikh snimkakh. MatMekh SPbGU, 2016.
10.
C. Manning and R. Socher. Kurs lektsii: natural language processing with deep learning”. http://web.stanford.edu/class/cs224n/. – Data obrashcheniya: 01.06.2019
11.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.770-778.
12.
R. Sh. Minyazev et al. // Bulletin of the Russian Academy of Sciences: Physics, 2018, Vol. 82, No. 12. P. 1529.
13.
R. Sh. Minyazev et al. // Bulletin of the Russian Academy of Sciences: Physics, 2019, Vol. 83, No. 12. P. 1655.
14.
Osovskii S. Neironnye seti dlya obrabotki informatsii / Per. s pol'skogo I.D. Rudinskogo.-M.: Finansy i statistika, 2002.-344 s.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Статья посвящена актуальному направлению автоматизации анализа медицинских диагностических изображений, полученных преимущественно в рамках скрининговых программ. Новизну исследований оценить затруднительно, т.к. аналогичные исследования широко известны (в т.ч. включающие оценку энтропии), однако авторы не привели детального описания отличия своего исследования от исследований зарубежных авторов.
Отсутствует обзор публикаций, упоминания или ссылки на исследования других авторов в предметной области.
Не приведены характеристики анализируемых изображений. Формат DICOM работает не с 256 градациями яркости, а обеспечивает на порядок большую глубину. Если авторы преобразовывали изображения по яркости, то первоначальный формат уже не важен, т.к. большая часть диагностически важной информации потеряна. Также важна матрица исходного и преобразованного изображений, т.к. при её уменьшении снижается пространственное разрешение (до этапа обрезки).
Некорректное описание исходных данных. Для выборки изображений (пациентов) необходимо указать средний возраст, долю мужчин/женщин, количество аппаратов, долю изображений с нормой/патологией. Указать эти данные необходимо, т.к. решаемая задача лежит в области медицинской диагностики.
Зависимости рис.2-3 показывают существенный разброс значений для ряда исследований.
В работе отсутствует статистический анализ. Для поставленной авторами задачи необходимо выполнить корреляционный анализ, указав рассчитанный коэффициент пирсона, доверительный интервал и уровень статистической значимости. Авторы пишут, что статистический анализ выполнен, однако материалы статьи не позволяют судить о его результатах.
Зависимость на рис. 4 вызвана, вероятно, плотностью костей, существенно отличающейся от плотности легких.
Биография. Из 14 ссылок 9 на работы одного автора (Минязев Р.Ш.), вероятно собственные, что недопустимо. Отсутствуют ссылки на исследования по автоматизированному анализу медицинских изображений других исследователей, в т.ч. на самые известные в предметной области.
Статья требует существенной доработки, прежде всего в части планирования/описания эксперимента и анализа результатов, что не позволяет оценить новизну выполненных исследований.
Если авторы делают акцент на обучении нейронной сети, то необходимо полностью переработать статью с акцентом на эту задачу.