Алгоритм сегментации визуальных признаков диабетической ретинопатии (ДР) и диабетического макулярного отека (ДМО) на цифровых фотографиях глазного дна DOI: 10.29188/2712-9217-2021-7-4-17-26

2087

ВВЕДЕНИЕ

По данным Всемирной организации здравоохранения (ВОЗ) (2016), 422 млн человек в мире страдают СД [1]. Для сравнения – 108 млн в 1980 г. Прогнозируемое число больных к 2040 г. составляет 645 миллионов [2]. В России на начало 2020 г. официально насчитывается порядка 5,1 млн больных СД (по данным Государственного Регистра больных сахарным диабетом, для сравнения – на 1 января 2014 г. этот показатель составлял 3,9 млн человек) [3]. Согласно официальной статистике, количество выявленных заболевших СД в 2020 г. среди взрослого населения выросло на 4,7% по сравнению с началом 2019 г., среди детей рост составил 5,3%.

Каждый пациент, страдающий СД, нуждается в регулярных офтальмологических обследованиях (от одного до 12 раз в год в зависимости от стадии заболевания). Разработка программ скрининга остается серьезной проблемой даже для стран с высокими ресурсами. Согласно исследованиям, около половины пациентов с СД остаются недостаточно диагностированными [4].

Основной причиной слепоты при СД является недостаточный охват пациентов офтальмологической помощью и, как следствие, несвоевременная диагностика и позднее начало лечения. Только в странах Евросоюза порядка 950 тыс. человек имеют слепоту или слабовидение вследствие ДР [5].

дствие ДР [5]. Описанная проблема может быть предотвращена при помощи целенаправленных программ скрининга всех пациентов с СД и выявления тяжелых стадий ДР и ДМО, требующих специализированного лечения [5, 6]. В Европейских странах и в Российской Федерации существуют программы диспансеризации пациентов с СД, целью которых, в том числе, являются регулярные профилактические офтальмологические обследования. Однако при реализации программ скрининга остро встает вопрос высокой нагрузки на системы здравоохранения и нехватки специалистов, способных квалифицированно проанализировать картину глазного дна и правильно поставить диагноз.

В данной ситуации высокий потенциал имеет телемедицина. В руководстве ВОЗ поскринингу ДР, опубликованном в 2020 г., была описана модель скрининговых программ с активным приглашением пациентов, страдающих СД для фотографирования глазного дна. Средний медицинский персонал был ответственен за съемку фундус-фотографий. Дальнейшие действия по анализу стадий и рисков ДР, а также работа с маршрутизацией пациентов осуществлялась в референс-центре после отправки данных [5]. При этом важное значение имеет выявление запущенных форм ДР и ДМО, подразумевающих неотложное лечение, с помощью внедрения систем поддержки принятия врачебных решений (СППВР) с применением алгоритмов искусственного интеллекта. Телемедицинские технологии обеспечивают доступность здравоохранения для всех, что особенно актуально для развивающихся стран и стран с низкими доходами / слабым развитием национальных систем здравоохранения.

Целью данного исследования является разработка алгоритмов сегментации визуальных признаков ДР и ДМО на цифровых фотографиях глазного дна, сделанных с помощью фундус-камеры. Для сегментации выбраны признаки ДР, включенные в Международную классификацию ДР, рекомендованную к клиническому использованию Международным советом по офтальмологии: микроаневризмы, твердые экссудаты, мягкие экссудаты, интраретинальные геморрагии, неоваскуляризация сетчатки и диска зрительного нерва, преретинальные геморрагии, эпиретинальный фиброз, лазерные коагуляты [7].

Для достижения поставленной цели потребовалось решить ряд научно-технических задач [8]:

1. Сбор и подготовка базы медицинских данных – цифровых фотографий глазного дна пациентов с ДР и ДМО, сделанных с помощью фундус-камеры.
2. Разметка медицинских данных. Размечаемые признаки: микроаневризмы, твердые экссудаты, мягкие экссудаты, интраретинальные геморрагии, неоваскуляризация сетчатки и диска зрительного нерва, преретинальные геморрагии, эпиретинальный фиброз, лазерные коагуляты [7].
3. Построение и обучение алгоритма искусственного интеллекта на базе размеченных данных. Реализация нейронных сетей и процесс их обучения осуществляется с помощью фреймворка глубокого обучения TensorFlow. Данный фреймворк имеет большой функционал с точки зрения построения архитектур нейронных сетей и оптимизирован для работы с GPU (графические вычислительные ядра).
4. Оценка параметров точности работы алгоритма на валидационной базе данных.

МАТЕРИАЛЫ И МЕТОДЫ

В ходе разработки алгоритмов машинного обучения используются большие массивы данных. Все данные подразделяются на обучающую и тестовую базу. Обучающая база служит непосредственно для разработки алгоритма, тестовая – для проверки точности его работы. При этом очень важно, чтобы данные из обучающей базы не попали в тестовую.

В качестве обучающей и валидационной баз данных использовались цифровые фотографии глазного дна пациентов с ДР и ДМО, сделанные с помощью фундус-камеры:

1. Открытая база данных «INDIAN DIABETIC RETINOPATHY IMAGE DATASET (IDRID)» [9].
2. Открытая база данных «1000 Fundus images with 39 categories» (License DbCL).
3. Фотографии глазного дна, собранные в клинических условиях в офтальмологической клинике Marashi Eye Clinic (г. Алеппо, Сирия) в рамках проекта пилотного тестирования сервиса RETINA AI.

Объем обучающей базы данных составил 1200 фотографий глазного дна. Объем валидационной базы данных составил 310 фотографий глазного дна. Наличие патологических изменений были валидированы врачами-офтальмологами и подтверждены ангиографически.

Разметка данных

Разметка проводилась вручную врачамиофтальмологами путем выделения полигоном соответствующего участка изображения с одним из признаков. Размечались следующие признаки: микроаневризмы, твердые экссудаты, мягкие экссудаты, интраретинальные геморрагии, неоваскуляризация сетчатки и диска зрительного нерва, преретинальные геморрагии, эпиретинальный фиброз, лазерные коагуляты.

Перед разметкой все фотографии подвергались предобработке с целью улучшения визуализации патологических структур.

На рисунке 1 представлен пример предобработки фотографииглазного дна и разметки признака «Твердые экссудаты».

Рис. 1. Разметка признака «Твердые экссудаты»:
A) Фотография глазного дна без обработки; B) Фотография глазного дна после предобработки; С) Размеченный признак «Твердые экссудаты»; D) Сегмент снимка с признаком «Твердые экссудаты»; E) Сегмент фотографии с размеченным признаком «Твердые экссудаты»
Fig. 1. Marking of the sign «Hard exudates»:
A) Snapshot without processing; B) Snapshot after processing; C) Marked sign «Hard exudates»; D) Segment of the snapshot with sign «Hard exudates»; E) Segment of the snapshot with labeled sign «Hard exudates»

Архитектура алгоритма

Алгоритм сегментации визуальных признаков диабетической ретинопатии и диабетического макулярного отека представлен на рисунке 2.

Рис. 2. Алгоритм сегментации визуальных признаков ДР и ДМО
Fig. 2. Algorithm for segmentation of visual signs of DR and DMO

Для обучения искусственных нейронных сетей, применяемых в системе, формируется набор обучающих данных, состоящий из размеченных снимков глазного дна. Разметка макулы, оптического диска и глазного дна осуществляется охватывающими прямоугольниками (bounding box). Визуальные признаки ДР (твердыеэкссудаты, микроаневризмы, интраретинальные кровоизлияния и т.д.) размечаются многоугольниками.

В алгоритме применяются два типа искусственных нейронных сетей:

• нейросеть-детектор для обнаружения глазного дна, центра макулы и оптического диска;
• сегментационная нейросеть для семантической сегментации признаков патологий глазного дна.

Рассмотрим алгоритм поэтапно.

Предобработка заключается в разделении цветного изображения глазного дна на составляющие каналы. Зеленый канал пересчитывается как минимум между красным и зеленым каналами. Далее зеленый и красный каналы масштабируется по яркости для уменьшения вариативности между различными изображениями. Затем увеличивается контрастность зеленого канала посредством применения к нему алгоритма CLAHE (Contrast Limited Adaptive Histogram Equalization) [10]. Обработанные по отдельности каналы объединяются в цветное изображение и производится увеличение резкости цветного изображения. Изображение с увеличенной резкостью может рассчитываться как линейная комбинация исходного изображения и изображения после применения двумерного фильтра Гаусса с коэффициентами 1,5 для исходного изображения и -0,5 для изображения после двумерного фильтра Гаусса.

После предобработки выполняется детекция глазного дна, оптического диска и центра макулы с помощью нейронной сети-детектора, архитектура которой основывается на архитектуре CenterNet, в структуру которой были внесены модификации, улучшающие точность детекции для этой задачи [11].

Задача семантической сегментации признаков патологий является сложной ввиду разнородности структур этих признаков. Эта задача была решена применением двух сегментирующих нейросетей для разных групп признаков, условно поделенных на «крупные» (неоваскуляризация, преретинальные кровоизлияния, лазерные коагуляты, эпиретинальный фиброз) и «малые» (микроаневризмы, интраретинальные кровоизлияния, твердые и мягкие экссудаты). Для «малых» признаков снимок глазного дна масштабируется до размера 1024х1024 пикселя, затем нарезается на участки сеткой 4х4 квадратов и каждый из участков по одному подается в сегментационную нейронную сеть. Для «малых» признаков в качестве основы для архитектуры нейронной сети используется архитектура EfficientNetB0 + FPN с модификациями структуры [12, 13]. Для «крупных» признаков снимок глазного дна масштабируется до размера 512х512 пикселя, затем нарезается на участки сеткой 2х2 квадратов и каждый из участков по одному подается в сегментационную нейронную сеть. Для «крупных» признаков в качестве основы для архитектуры нейронной сети используется архитектура MobileNetv2 + Unet с модификациями структуры [14, 15]. По маскам, полученным в результате сегментации признаков, определяются координаты точек контуров найденных признаков и оцениваются параметры контуров, например, положение центра, площадь, количество признаков и т.д. Полученные параметры контуров используются в системе нечеткого логического вывода, которая выполняет вероятности наличия различных степеней диабетической ретинопатии. С целью выявления тяжелой непролиферативной ДР, одним из признаков которой, согласно Международной классификации, является наличие 20 и более интраретинальных геморрагий в каждом квадранте сетчатки. В ходе исследования был реализован алгоритм автоматической детекции центра макулы с последующим зонированием сетчатки на квадранты и подсчетом числа интраретинальных геморрагий в каждом квадранте. Одновременно выполнялась оценка диаметра макулы по видимому расстоянию между центрами макулы и оптического диска и детекция наличия контуров твердых экссудатов в пределах рассчитанного радиуса макулы, как признака ДМО, выявляемого на фотографиях глазного дна (рис. 3). Правила для определения вероятностей наличия у пациента ДР основываются на Международной классификации ДР и ДМО [7].

Рис. 3. Пример сегментации алгоритмом искусственного интеллекта интраретинальных геморрагий с автоматизированным подсчетом их числа внутри каждого квадранта и твердых экссудатов внутри радиуса макулы
А) Фотография глазного дна без обработки; B) Фотография глазного дна после предобработки; С) Сегментированные интраретинальные геморрагии (красные маски) и твердые экссудаты (желтые маски), автоматизированная детекция радиуса макулы и зонирование на квадранты; D) Подсчет количества интраретинальных геморрагий внутри каждого квадранта
Fig. 3. Segmentation of intraretinal hemorrhages with an automated calculation of their number within each quadrant and identification of hard exudates within the radius of the macula.
A) Snapshot without processing; B) Snapshot after preprocessing; C) Segmentation of intraretinal hemorrhages (red masks) and hard exudates (yellow masks), automated detection of macular radius and zoning into quadrants; D) Calculation of the number of intraretinal hemorrhages within each quadrant

Оценка параметров точности работы алгоритма

Реализация данной задачи начинается с определения требований (метрик (критериев) качества) к разрабатываемой модели. Для оценки точности работы методов ИИ используя тестовый набор данных, вычисляют несколько параметров точности:

• количество правильных положительных срабатываний – TP (True positives);
• количество неправильных положительных срабатываний – FP (False positives);
• количество неправильных отрицательных срабатываний – FN (False negatives);
• количество правильных отрицательных срабатываний – TN (True negatives);

По этим параметрам вычисляются следующие меры точности:

• Accuracy (точность срабатывания) – процент правильно найденных положительных и отрицательных случаев, Accuracy = TP+TN/общее число случаев –
• Recall/Sensitivity (чувствительность) – процент правильно предсказанных положительных случаев из всех положительных случаев, Recall = TP/(TP + FN)
• Specificity (специфичность) – процент правильно предсказанных отрицательных случаев из всех отрицательных случаев, Specificity = TN/(TN + FP)

Валидационная база данных представляет собой набор неразмеченных фотографий и отчетные таблицы с указанием диагноза, наличия или отсутствия каждого признака для каждой фотографии (Таблица 1). Отчетная таблица составлялась на основе заключений трех врачей-офтальмологов. В процессе валидации данный набор снимков пропускается через обученную искусственную нейронную сеть с подсчетом параметров TP, FP, TN, FN и последующим расчетом метрик Accuracy, Precision, Recall, Specificity.

Таблица 1. Сегмент таблицы валидационного датасета
Table 1. Segment of the validation dataset table

Таблица 2. Оценка параметров точности работы алгоритмов
Table 2. Estimation of the parameters of the accuracy of the algorithm

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

Результаты оценки параметров точности работы алгоритма на валидационной базе данных приведены в таблице 1.

Разработанный алгоритм ИИ позволяет сегментировать признаки ДР и ДМО на фотографиях глазного дна с достаточно высоким уровнем точности и может быть положен в основу СППВР для диагностики ДР. Проблемой многих алгоритмов ИИ является эффект черного ящика, когда невозможно понять на основании чего система приняла то или иное решение. В предлагаемом алгоритме осуществляется сегментация и подсвечивание каждого отдельного признака, что позволяет свести к минимуму эффект черного ящика и делает сервис прозрачным, понятным и удобным для врача. Сегментация отдельных признаков позволяет адаптировать СППВР как к Международной классификации ДР, так и к классификациям, рекомендованным в национальных клинических рекомендациях РФ [16].

Важнейшим этапом разработки алгоритмов ИИ является работа с данными. Наличие достаточного объема деперсонализированных медицинских данных и разметка данных квалифицированными врачами-офтальмологами является неотъемлемым условием создания качественного продукта.

СППВР на основе алгоритмов ИИ может быть использована в программах скрининга пациентов ДР. В частности, СППВР может оказать помощь в ситуациях, требующих обследования большого числа пациентов за короткое время, с оценкой стадии и динамики болезни, а также с выявлением необходимости оказания неотложной офтальмологической помощи. Снижение нагрузки на врачей, а также расширение доли охвата населения с применением СППВР может сделать скрининг более успешным. Долгосрочными целями могут являться снижение уровня слепоты и слабовидения по причине запоздалой диагностики ДР и ДМО, уменьшение контингента пациентов с тяжелыми формами ДР, которым необходимо высококвалифицированное дорогостоящее хирургическое лечение.

Развитие телемедицины в области скрининга глазного дна не может пройти без применения мобильных устройств средств скрининга [17-21]. Смартфоны с использованием бесконтактных линз 20 D, 28 D и 30 D для непрямой офтальмоскопии, а также применение адаптеров для щелевой лампы становятся все более распространенным и быстро развивающимся инструментом для фундус-фотографирования в клинической практике [17, 22]. Активно разрабатываются многочисленные приложения на базе ИИ, призванные помочь врачам выполнять различные задачи на месте оказания медицинской помощи, в частности, в диагностике патологии сетчатки [20, 21].

ВЫВОДЫ

Таким образом, анализируя полученные результаты оценки работы разработанного алгоритма сегментации визуальных признаков ДР и ДМО, можем сказать, что качество его работы удовлетворяет заранее определенным требованиям.

Предобработка цифровых снимков глазного дна позволила увеличить их информативность, что положительно повлияло на качество разметки обучающих и валидирующих датасетов и позволила улучшить параметры оценки точности алгоритма.

Учитывая рост онлайн услуг в медицинском секторе и удешевление технологий для получения цифровых снимков глазного дна можно утверждать, что данный алгоритм имеет хорошие перспективы.

На основе данного алгоритма была разработана офтальмологическая платформа Retina.AI, которая является системой поддержки принятия врачебных решений (СППВР), позволяя проводить автоматизированный анализ цифровых снимков глазного дна пациента, выполнять дифференциальную диагностику заболевания и выявлять показания для лечения на основе алгоритмов искусственного интеллекта.

ЛИТЕРАТУРА

1. Глобальный отчет по диабету Всемирной Организации Здравоохранения (ВОЗ), 2016. [Электронный ресурс].
URL: https://www.who.int/diabetes/global-report/ru/. [Global'nyy otchet po diabetu Vsemirnoy Organizatsii Zdravookhraneniya (VOZ), 2016].
2. Ogurtsova K, da Rocha Fernandes JD, Huang Y, Linnenkamp U, Guariguata L, Cho NH, Cavan D, Shaw JE, Makaroff LE. IDF Diabetes Atlas: Global estimates for the prevalence of diabetes for 2015 and 2040. Diabetes Res Clin Pract 2017 Jun(128):40-50. https://doi.org/10.1016/ j.diabres.2017.03.024. Epub 2017 Mar 31. PMID: 28437734. https://pubmed.ncbi.nlm.nih.gov/28437734/
3. Статистика заболевших сахарным диабетом в РФ на начало 2020 г. [Электронный ресурс]. URL: https://clck.ru/ XqS6c. [Statistika zabolevshikh sakharnym diabetom v RF na nachalo 2020 g. [Elektronnyy resurs]. URL: https://clck.ru/ XqS6c].
4. Beagley J, Guariguata L, Weil C, Motala AA. Global estimates of undiagnosed diabetes in adults. Diabetes Res Clin Pract 2014 Feb;103(2):150-60. https://doi.org/10.1016/j.diabres.2013.11.001. Epub 2013 Dec 1. PMID: 24300018.
5. World Health Organisation Diabetic retinopathy screening: a short guide 2020.
6. Wong TY, Sabanayagam C. Strategies to Tackle the Global Burden of Diabetic Retinopathy: From Epidemiology to Artificial Intelligence. Ophthalmologica 2020;243(1):9-20. https://doi.org/10.1159/000502387. Epub 2019 Aug 13. PMID: 31408872. https://pubmed.ncbi.nlm.nih.gov/31408872/
7. Wong TY, Sun J, Kawasaki R, et.al. Guidelines on Diabetic Eye Care: The International Council of Ophthalmology Recommendations for Screening, Follow-up, Referral, and Treatment Based on Resource Settings. Ophthalmology 2018 Oct;125(10):1608-1622. https://doi.org/10.1016/j.ophtha.2018.04.007. Epub 2018 May 24. PMID: 29776671.
8. Faes L, Liu X, Wagner SK, Fu DJ, Balaskas K, Sim DA, Bachmann LM, Keane PA, Denniston AK. A Clinician's Guide to Artificial Intelligence: How to Critically Appraise Machine Learning Studies. Transl Vis Sci Technol 2020 Feb 12;9(2):7. https://doi.org/10.1167/tvst.9.2.7. Erratum in: Transl Vis Sci Technol 2020 Aug 21;9(9):33. PMID: 32704413; PMCID: PMC7346877.
9. Porwal P, Pachade S, Kamble R, Kokare M, Deshmukh G, Sahasrabuddhe V, Meriaudeau F. April 24, 2018. "Indian Diabetic Retinopathy Image Dataset (IDRiD)", IEEE Dataport. https://doi.org/https://dx.doi.org/10.21227/H25W98.
10. Zuiderveld K. Contrast Limited Adaptive Histogram Equalization. Graphics Gems IV 1994;474-485 p.
11. Zhou X, Wang D., Krаhenbuhl P. Objects as Points. arXiv:1904.07850, 2019.
12. Tan M, Quoc V. EfficientNet: Rethinking Model Scaling for Convolutional Neura. Networks. arXiv:1905.11946, 2019.
13. Lin TY, Dollar P, Girshick R, He K, Hariharan B, Belongie S. Feature Pyramid Networks for Object Detection. arXiv:1612.03144, 2017.
14. Sandler M, Howard A, Zhu M, Zhmoginov A, Chen LC. MobileNetV2: Inverted Residuals and Linear Bottlenecks. arXiv:1801.04381.
15. Ronnenberger O, Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention. MICCAI 2015;234-241 p.
16. Федеральные клинические рекомендации «Сахарный диабет: диабетическая ретинопатия, диабетический макулярный отек», 2020. [Электронный ресурс]. URL: http://avo-portal.ru/doc/fkr/item/368-saharnyy-diabetretinopatiya-diabet.... [Federal'nyye klinicheskiye rekomendatsii «Sakharnyy diabet: diabeticheskaya retinopatiya, diabeticheskiy makulyarnyy otek», 2020].
17. Haddock LJ, Kim DY, Mukai S. Simple, inexpensive technique for high-quality smartphone fundus photography in human and animal eyes. J Ophthalmol 2013;518479. https://doi.org/10.1155/2013/518479.
18. Kim DY, Delori F, Mukai S. Smartphone photography safety. Ophthalmology 2012 Oct;119(10):2200-1; author reply 2201. https://doi.org/10.1016/j.ophtha.2012.05.005. PMID: 23034305.
19. Rajalakshmi R, Subashini R, Anjana RM, et.al. Automated diabetic retinopathy detection in smartphone-based fundus photography using artificial intelligence. Eye (Lond). 2018;32(6):1138-1144. https://doi.org/10.1038/s41433-018- 0064-9.
20. Wei H, Sehgal A, Kehtarnavaz N. "A deep learning-based smartphone app for real-time detection of retinal abnormalities in fundus images", Proc. SPIE 10996, Real-Time Image Processing and Deep Learning 2019; 1099602 (14 May 2019); https://doi.org/10.1117/12.2516665.
21. Karakaya M, Hacisoftaoglu RE. Comparison of smartphone-based retinal imaging systems for diabetic retinopathy detection using deep learning. BMC Bioinformatics 21;259(2020). https://doi.org/10.1186/s12859-020-03587-2.
22. Tan CH, Kyaw BM, Smith H, Tan CS, Tudor Car L. Use of Smartphones to Detect Diabetic Retinopathy: Scoping Review and Meta-Analysis of Diagnostic Test Accuracy Studies. J Med Internet Res 2020 May 15;22(5):e16658. https://doi.org/10.2196/16658. PMID: 32347810.