ВВЕДЕНИЕ
Ультразвуковое исследование (УЗИ) – это метод неинвазивного исследования организма человека или животного с помощью ультразвуковых волн [1,2]. За счет своей безопасности и невысокой стоимости исследования, с 40-х годов ХХ века оно повсеместно используется для обнаружения заболеваний различных органов с целью диагностики злокачественных процессов и органических нарушений [3-5].
Несмотря на давность применения метода и его изученность, выполнение УЗИ до сих пор считается сложным оператор-зависимым процессом, требующим многолетнего обучения и большого практического опыта, что делает его результаты трудно воспроизводимыми. Именно этот факт стал пусковым моментом в создании системы автоматизированного обнаружения (САО), которая изначально задумывалась как вспомогательная система для специалистов функциональной диагностики. Большая часть САО основана на принципах машинного обучения (ML).
Машинное обучение – область искусственного интеллекта, которая подразумевает обучение системы определенным действиям на основании многократного повторения множества задач. Она возникает на пересечении статистики, которая стремится изучать взаимосвязи на основе данных, компьютерных наук с акцентом на эффективные вычислительные алгоритмы [6]. Частным случаем является глубокое обучение – техника машинного обучения, использующая различные алгоритмы, которые могут изучить представление входных данных, используя несколько слоев обработки со сложной структурой. Глубокое обучение заменило созданные вручную алгоритмы выделения признаков на иерархические алгоритмы обучения неконтролируемых признаков. Существует много архитектур глубокого обучения, таких как сверхточные нейронные сети, авто-кодеры, сети глубокого убеждения и рекуррентные нейронные сети. Эти архитектуры применяются во многих областях, таких как обработка естественного языка, компьютерное зрение, распознавание речи и звука и биоин-форматика [7] (рис. 1).
Рис.1. Схематическое изображение процесса глубокого обучения для задачи классификации
Fig. 1. A schematic diagram of a deep learning process for a classification problem.
Одним из самых ярких примеров такого подхода является исследование, проведенное Ryan Poplin и соавт. [8] c прогнозированием факторов риска сердечно-сосудистых заболеваний по фотографиям глазного дна с использованием метода глубокого обучения. Самым важным этапом САО является сегментация – разметка изображения на множество неперекрывающихся областей, объединение которых представляет собой всё изображение, а объективная оценка алгоритмов сегментации медицинских изображений на большом наборе клинических данных является одним из важных шагов на пути к обоснованию и клинической применимости алгоритма (рис. 2) [3,8].
Рис 2. Примеры использования сетей глубокого обучения для сегментации и обнаружения патологии в различных методах диагностики
Fig. 2. Examples of using deep learning networks for segmentation and pathology detection in various diagnostic methods
Однако при применении САО в ультразвуковой диагностике есть некоторые сложности – необходимость большого набора тренировочных образов, а также качество ультразвукового изображения: низкое отношение сигнал/шум, выпадение краев, отсутствие простой связи между интенсивностью пикселей и физическими свойствами ткани, а также анизотропия формирования ультразвукового изображения [9].
МАТЕРИАЛЫ И МЕТОДЫ
Эта работа посвящена обзору методов машинного обучения в ультразвуковой диагностике и поиску решений проблем, связанных с методикой.
Мы провели тщательный анализ литературы, используя поисковые системы e-library, Pubmed, Schoolar Google, IEEE и проанализировали опубликованные материалы более чем из 20 журналов или конференций по данной теме (Med Imaging, Cell Biochem Biophys, International Journal of Advanced Computer Science and Applications, Journal of Medical Systems и др.), которые описывают применение машинного обучения для УЗИ до 15 января 2020 года.
Найденные исследования мы разделили на 5 групп по органам и системам организма, в которых методы машинного обучения встречаются наиболее часто: молочная железа, щитовидная железа, сердечно-сосудистая система, печень и другие области, а также рассмотрели проблемы, которые при этом возникают и возможности их решения.
РЕЗУЛЬТАТЫ
Глубокое машинное обучение (искусственный интеллект) при заболеваниях молочной железы
Рак молочной железы (РМЖ) является наиболее часто встречающимся злокачественным онкологическим заболеванием среди женщин. В мире насчитывается 1 384 155 новых случаев заболевания, и почти 459 000 из них связаны со смертельным исходом [10,11]. Ультрасонография помогает раннему обнаружению опухолей или состояний, предрасполагающих к ним, например, провести различие между кистозными и солидными образованиями, оценить плотность молочной железы, особенно у молодых женщин с высокой степенью риска РМЖ [12].
Системы САО могут быть использованы для того, чтобы предоставить рентгенологам второе и последующие мнения для более точного стадирования онкологического процесса в молочной железе. Ding и соавт. предложили новый метод глубокого обучения для дифференцировки опухолей на доброкачественные и злокачественные [13]. Результаты эксперимента показали, что предлагаемый метод имеет точность 0,91, высокую производительность, и он может быть полезным для систем САО в УЗИ молочных желез.
Walid Al-Dhabyani и соавт. исследовали два подхода к классификации глубокого обучения (в частности, подходов свёрточной нейронной сети (AlexNet) и Transfer Learning) [14]. Все модели были обучены на наборах данных изображений молочной железы, взятых в США, для классификации изображений злокачественных и доброкачественных образований. Среди различных методологий, представленных в этом документе, промежуточное обучение (transfer learning) пространства поиска NASNet достигло лучших результатов (99%), когда оно использовало генерирующие состязательные сети увеличения данных (DAGAN).
Han и соавт. использовали GoogLeNet для классификации изображения молочной железы, при котором точность достигла 90% [15]. Для обучения глубокой нейронной сети авторы проанализировали 4254 образца доброкачественных образований и 3154 образца злокачественных опухолей. Полученных данных было достаточно GoogLeNet для достижения приемлемой производительности.
Производители УЗИ аппаратуры вводят системы автоматизированного обнаружения для помощи клиницистам. S-Detect Breast (Smart Detect for Breast) – программа автоматического обнаружения и анализа образований молочной железы у женщин, измерение и классификация по системе BIRADS (Breast Imaging Reporting And Data System – международная система описания и обработки данных УЗИ молочной железы) [16]. Технология SDetect™ проде-монстрировала превосходную согласованность (91,2 %) с оценкой радиологоммаммологом при интерпретации характера образований в молочных железах.
Глубокое машинное обучение (искусственный интеллект) при заболеваниях щитовидной железы
Узловые образования щитовидной железы – достаточно распространенное явление. Часть из них обнаруживается пальпаторно, другая часть – является случайной находкой во время нерелевантных диагностических исследований [17]. При этом от 10 до 15% узлов щитовидной железы представляет собой злокачественные образования щитовидной железы. УЗИ должно выполняться у всех пациентов с узлами, найденными клинически или случайно при выполнении других исследованиях [18].
Для помощи в диагностике образований щитовидной железы были реализованы системы их автоматизированного обнаружения. Ouyang и соавт. [19] в своем исследовании сравнивают линейное (the Ridge, Lasso-penalty, and Elastic Net (EN) algorithms) и нелинейное (we analyzed the random forest (RF), kernel-Support Vector Machines (kSVM), Neural Network (Nnet), kernel nearest neighborhood (k-NN), and Na•ve Bayes (NB)) машинное обучение в классификации узлов щитовидной железы. Авторы пришли к заключению, что нелинейные алгоритмы машинного обучения имеют схожую производительность по сравнению с линейными алгоритмами для оценки риска злокачественных образований щитовидной железы. Kyoung Ja Lim и соавт. [20] выделили 5 критериев дифференциальной диагностики узлов щитовидной железы: размер, края, эхогенность, кистозные изменения и микрокальцификация узелков. В своем исследовании они использовали искусственную нейронную сеть. Интересно, что площадь под ROC-кривой у этих методов, была выше, чем у 2х приглашенных специалистов, анализирующих эти же изображения (p<0.05). Jianning Chi и соавт.[21] использовали предварительно обученную модель GoogLeNet. Затем они настраивали ее с использованием предварительно обработанных изображений, что обеспечило превосходное извлечение характеристик: точность классификации 98,29%, чувствительность 99,10%. Однако использование GoogLeNet не всем доступно из-за недостаточно большого количества данных. Поэтому остальные ученые используют другие глубокие нейронные сети. Jinlian Ma и соавт [22] использовали гибридный метод для классификации узлов щитовидной железы, который представляет собой слияние двух предварительно обученных СНС и приводит к значительному улучшению производительности с точностью 83,02% ± 0,72%. Авторы продемонстрировали потенциальное клиническое применение этого метода.
Глубокое машинное обучение (искусственный интеллект) при сердечно-сосудистых заболеваниях
Эхокардиография является основным методом визуализации для диагностики заболеваний сердца. За последние два десятилетия технологический прогресс привел к появлению миниатюрного портативного ультразвукового оборудования – компактного и работающего от батареи. Ручная эхокардиография может быть легко выполнена в месте оказания медицинской помощи с приемлемым качеством изображения. Простота использования, доступность у постели пациента, удобство транспортировки и относительно низкая стоимость побудили врачей использовать эти устройства для быстрого принятия медицинских решений [23].
Для помощи в диагностике сердечно-сосудистых заболеваний были созданы системы автоматического обнаружения (рис. 3).
Рис. 3. Сегментация эпикарда и миокарда сердца
Fig. 3. Segmentation of the epicardium and myocardium of the heart
Многие автоматизированные методы выполняют статическую сегментацию на одиночных двумерных (2D) кадрах и, следовательно, часто дают результаты сегментации, которые не соответствуют динамике сердечного цикла. Johan G. Bosch и соавт. [24] был разработан показатель времени активного движения (active appearance motion – AAM), который моделирует непрерывное во времени движение сердца и внешний вид изображения, и выполняет быстрое, надежное, полностью автоматическое обнаружение контуров по нормализованным по фазе сердечным временным последовательностям практически применимым образом. Он генерирует результаты непрерывной сегментации, которые согласуются с динамикой сердца.
Jacinto C. Nascimento соавт. [25] использовали надежный алгоритм для отслеживания границы левого желудочка в последовательности ультразвуковых изображений. Движение сердца состоит из двух фаз (систолы – сокращения и диастолы – расслабления) с различной динамикой. Несколько моделей, используемых в этом трекере, пытаются решить проблему отличия фазы сокращения и расслабления. Трекер множественных модельных ассоциаций данных, предлагаемый в этой статье, основан на наборе нелинейных фильтров, организованных в виде древовидной структуры и предоставляющего два уровня информации. Выход первого уровня представляет собой оценку границы сердца, а выход второго уровня представляет собой двоичный сигнал, который определяет активную модель, используемую для отслеживания и распознавания двух фаз сердечного цикла.
Gustavo Carneiro и соавт [9] создали модель, которая отделяет жесткие и нежесткие обнаружения путем использования методов глубокого обучения, моделирующих внешний вид LV, и эффективные алгоритмы поиска на основе производных, которые обладают высокой чувствительностью и специфичностью.
Автоматическое обнаружение кровеносных сосудов может быть полезным в медицинских приложениях, предназначенных для обнаружения тромбоза глубоких вен, наведения при анестезии и установке катетера. Erik Smistad и соавт. [26] предлагают способ, который позволяет определять положение и размеры сосудов на изображениях в режиме реального времени. 12804 изображения бедренной области от 15 субъектов были размечены вручную. Была использована перекрестная проверка, которая дала среднюю точность 94,5%, что является значительным улучшением по сравнению с предыдущими методами, которые имели точность 84% для того же набора данных. Метод был также проверен на наборе данных сонной артерии, для демонстрации возможности применения метода на других кровеносных сосудах организма. Точность этого набора данных составила 96%.
Глубокое машинное обучение (искусственный интеллект) при заболеваниях печени
Ультразвуковое исследование печени часто используется в качестве метода первой линии для выявления наиболее распространенных ее поражений, особенно тех, которые были обнаружены случайно, а также для мониторинга хронических заболеваний печени. Ультразвук используется не только в Bmode, но также с допплером, и, в последнее время, с контрастным усилением. Он в основном используется при диагностике диффузных поражений печени – стеатоз, фиброз или цирроз печени, а также ее очаговых поражений [27].
Системы САО могут быть использованы для того, чтобы предоставить рентгенологам возможность получения второго мнения. Xiang Liu и соавт. [28] предложили метод, который способен локализовать капсулу печени на ультразвуковом изображении, что является ключевым элементом их подхода. Поскольку ткани над и под капсулой печени значительно различаются, капсула может служить ориентиром для задачи классификации изображений. Метод достиг замечательных результатов в задаче бинарной классификации (цирроз или нет) ультразвуковых изображений с площадью под ROC-кривой (0,96).
Tarek M. Hassan и соавт. [29] ввели новую классификационную структуру для диагностики очаговых заболеваний печени на основе архитектуры глубокого обучения. Предлагаемая ими структура начинается с предварительной обработки изображений для улучшения их качества. Затем проводится сегментация структуры и поражений печени. SSAE используется для обнаружения скрытых функций из непомеченных входных данных без присмотра. Предложенный метод показал общую точность 97,2%.
Wu и соавт. [30] обучили Deep Belief Network на кривых зависимости интенсивности от времени, полученных из ультразвука с усиленным контрастом, для классификации очаговых поражений печени. Они показали, что их метод превосходит классические методы ML (точность 86,36% против 66,67% – 81,86).
Gatos и соавт. [31] был представлен новый алгоритм машинного обучения, который количественно оценивает информацию о значении жесткости из изображений эластографии и использует сложный алгоритм классификации для идентификации хронических заболеваний печени (ХЗП). Самая высокая точность в классификации отличий субъектов от здоровых до CLD по модели машин опорных векторов составила 87,3% при значениях чувствительности и специфичности 93,5% и 81,2% соответственно. Предлагаемая система превзошла все клинические и автоматизированные исследования, а также экспертов-рентгенологов, в дифференцировке здоровых людей от пациентов с ХЗП.
Глубокое машинное обучение (искусственный интеллект) при иных заболеваниях
Reda и соавт. [32] предложили сеть глубокого обучения, которая обучается с помощью алгоритма ограничения неотрицательности (АОН) для классификации доброкачественных или злокачественных новообразований предстательной железы. Их техника имеет три шага. На первом шаге простата локализуется и сегментируется с использованием нового метода установки уровня. На втором шаге математически вычисляется кажущийся коэффициент диффузии сегментированного объема простаты, и строятся кумулятивные функции распределения, которые являются глобальными признаками, описывающими кровоток, который использовался для дифференцировки доброкачественных и злокачественных опухолей. Наконец, на третьем шаге сеть автоматического кодирования с глубоким обучением, которая обучается NCAE, использовалась для классификации образований простаты. Предложенный классификатор на основе АОН достиг общей точности 97,6%. Авторы сравнили свой метод с классификаторами KStar и Random Forest, и эксперименты показали, что их точность превзошла точность двух других классификаторов, которые составили 92,8 и 88,1% соответственно.
Shuai Zhang и соавт. [33] предложили метод автоматического отслеживания ориентации мышечных волокон, основанный на эффекте Калмана. Эффективность предлагаемого подхода сравнивается с существующими методами на пяти субъектах более 1000 клинических ультразвуковых изображений. Экспериментальные результаты показывают, что предлагаемый метод позволяет достичь точных и надежных измерений и превосходит все существующие методы.
Смещение подъязычной кости является одним из основных компонентов в изучении акта глотания, потому что во время движения должна соблюдаться общая целостность исследования. Специалисты визуально обнаруживают подъязычную кость на снимках с помощью ультразвука и должны вручную проследить ее положение. Это кропотливая работа, которая занимает много времени и утомляет.
Mar’lia Lopes и соавт. [34] разработали автоматический метод определения местоположения подъязычной кости на ультразвуковых изображениях, сочетающий принципы обработки изображений и машинного обучения (рис. 4).
Рис.4. Обнаружение подъязычной кости
Fig. 4. Detection of the hyoid bone
Эффективность предлагаемого способа была проверена на двух типах ультразвуковых исследований: 1 – с пациентом в состоянии покоя, без глотания, когда кость остается неподвижной, и 2 – во время глотания, где пациентам было предписано проглотить три типа жидкости – слюна, вода и пастообразная жидкость, вытесняя таким образом подъязычную кость. Надежное обнаружение подъязычной кости было возможно при обеих настройках.
Selvarani и соавт [35] исследуют подход к обнаружению камней почек путем обработки этих необработанных изображений США с помощью классификатора SVM. предлагаемая методология обладает самой высокой точностью более 98,8%, что делает ее легко пригодной для использования после клинических наблюдений.
ПРОБЛЕМЫ И ИХ РЕШЕНИЕ
1) Selvarani и соавт. [35] видят одним из основных недостатков медицинской ультрасонографии среднее качество изображений, которые подвержены влиянию шумов. Для решения этой проблемы они используют предварительную обработку изображения и предлагают фильтр для удаления шума и повышения качества изображения. Фильтр работает, заменяя каждый пиксель изображения средним значением его соседей, включая текущий пиксель. Операция фильтрации изображения включает в себя удаление короткохвостых равномерных и гауссовских шумов из изображения за счет размытия изображения. Спекл-шумы обычно мелкозернистые, иногда они похожи на соседние пиксели и имеют длину несколько пикселей. Таким образом, это влечет за собой операцию пространственной фильтрации, которая вычисляет текущее значение с учетом, по меньшей мере, двухмерной маски, которая применяется к каждому пикселю во входном изображении, и которая эффективно удаляет размытие в средней фильтрации. Также предварительная обработка в целях избавления от шумов и улучшения качества изображения используется и в других статьях, например [9,35].
2) Проблема недостатка данных: для настройки мощной сети глубокого обучения (искусственный интеллект) требуется большое количество изображений, которое доступно не всем исследователям. Разные авторы видят различные подходы к этой проблеме. Первым способом ее решения является создание открытых баз данных УЗИ-изображений разных органов и частей тела. В дальнейшем требуется увеличение количества таких баз для обеспечения лучшего качества программ. Еще одним вариантом решения проблемы является аугментация (увеличение) данных. Так, Walid Al-Dhabyani и соавт. [36] создали новую методологию увеличения данных с использованием Генеративной Состязательной Сети. Она включает в себя обучение Генеративной Состязательной Сети для каждого из классов исходных наборов данных, а затем использование его для создания ряда синтетических изображений.
3) Еще одну проблему видят Ding и соавт. [30] в том, что они сконцентрировались только на местных особенностях текстуры. Глобальные особенности, такие, как форма, поля и другие, также являются важными. Сочетание глобальных особенностей и локальных особенностей будет изучено ими в будущем.
ВЫВОДЫ
В этой статье мы резюмировали опыт применения САО в ультразвуковой диагностике. Большинство алгоритмов САО в данный момент разработаны при помощи сетей глубокого обучения. Отличительной особенностью таких систем является извлечение характеристик, которое автоматически извлекается из сети глубокого обучения.
Мы показали возможности применения методов машинного обучения в диагностике заболеваний различных органов: опухолей молочной железы, узлов щитовидной железы, очаговых заболеваний печени, заболеваний сердечно-сосудистой системы. Во всех случаях САО показало себя достаточно успешно, наравне, а иногда и превышая показатели опытных клиницистов.
Однако применение САО в ультразвуковой диагностике имеет ряд сложностей, таких, как плохое качество изображений, наличие шумов, малое число изображений для анализа. Для их преодоления применяется предварительная обработка изображений с удалением шумов, аугментация данных, создание открытых баз данных. Тем не менее, в настоящее время существуют огромные различия в количестве и модальности набора данных, используемых в различных исследованиях, поэтому трудно справедливо оценить их производительность. Для решения этой проблемы требуется создание стандартизированных наборов данных, что должно стать целью будущих исследований.
ЛИТЕРАТУРА
Прикрепленный файл | Размер |
---|---|
Скачать статью | 694.51 кб |