Применение искусственного интеллекта для прогноза удовлетворенности больных медицинской помощью в условиях специализированной клиники восстановительного лечения DOI: 10.29188/2542-2413-2020-6-3-15-23

5962

ВВЕДЕНИЕ

Удовлетворенность больных лечением – довольно острая медико-социальная проблема, связанная не только с вопросами качества оказываемой помощи, но и приверженностью больных лечению [1], что имеет значение в повышении уровня здоровья нации [2].

Говоря об удовлетворенности больных медицинской помощью, представляются важными несколько ее аспектов: польза от лечения, желание продолжать лечение, удовлетворенность общением с лечащим врачом и переносимость лечения [3]. Также, существенным является понимание уровня удовлетворенности больного лечением в целом, без выделения ее частных аспектов.

В этой связи, в практическом отношении, значительный интерес вызывают возможности прогнозирования удовлетворенности конкретного пациента. Однако, при решении такой задачи привычными средствами, может потребоваться проведение довольно большого объема научных исследований, что представляется крайне затратным по требуемым для решения такой задачи ресурсам.

С другой стороны, в современной литературе накоплено определенное количество данных о статистической связи удовлетворенности медицинской помощью с социально-демографическими сведениями о больном, которые можно получить без проведения специальных опросов или тестирования в короткий срок.

Некоторыми авторами предлагается выделять две категории сведений о больном: неизменяемые характеристики самого пациента (далее мы их обозначим, как базовые факторы) и факторы модифицируемые, среди которых основную роль играет характер взаимодействия медицинского персонала с пациентом далее – ситуационные факторы [4].

Неизменяемые факторы могут называться базовыми еще и по причине распространенности термина – «базовые сведения» при характеристике сведений о больном в используемых сегодня амбулаторных картах: сюда входят такие сведения, как пол, возраст, семейное положение и т.п.

Ситуационные факторы сохраняются непродолжительное время, в связи с текущей, актуальной ситуацией (в рассматриваемой нами проблеме удовлетворенности, такой ситуацией является получение и оказания реабилитационной помощи).

Анализ литературных источников позволяет говорить о накоплении достаточно большого объема сведений о связи базовых факторов с уровнем удовлетворенности больных медицинской помощью.

Так, на основе анализа вторичных данных управления здравоохранения ветеранов, департамента по делам ветеранов США, G.J. Young и соавторы [5] приходят к выводу, что демографические характеристики – возраст, биофизиологические признаки – состояние здоровья и раса неизменно оказывают статистически значимое влияние на показатели удовлетворенности пациентов качеством реабилитации. Интересные данные приводит O.A. Bernal и соавторы [6] о том, что у молодых людей отмечается снижение уровня удовлетворенности медицинской помощью в отличие от пациентов более старших возрастных групп.

Одинокий образ жизни и отсутствие семьи часто приводятся как условия, негативно влияющие на здоровье [7]. В одной из довольно крупных работ, включавшей более 66 000 респондентов из 17 стан Европы и Израиля, было установлено, что проживание в одиночестве снижает уровень удовлетворенности [8].

Низкий уровень грамотности пациентов зачастую ассоциируется с рядом проблем, возникающих при оказании медицинской помощи, что отражается на качестве здоровья [9] и, разумеется, на удовлетворенности таких больных оказываемой медицинской помощью.

Курение табака рассматривается в качестве привычки, существенно ухудшающей психическое здоровье, что косвенно способствует снижению удовлетворенности многими аспектами жизни, включая и удовлетворенность лечением [10].

Исследование, проведенное в Великобритании в конце прошлого века и включавшее интервьюирование 1 245 респондентов, позволило предположить связь инвалидности и удовлетворенности медицинской помощью [11].

С учетом того, что данные о возрасте, поле, семейном положении, образовании и т.д., с одной стороны, базо-универсальны, а, с другой стороны, имеются свидетельства, что эти данные связаны с уровнем удовлетворенности медицинской помощью пациентов. Поэтому представляется обоснованной попытка использовать такие сведения для обучения искусственного интеллекта (ИИ) прогнозированию уровня удовлетворенности, что позволит еще до начала реализации программ лечения и реабилитации оценить потенциальную пользу раннего вмешательства сотрудников клиники с целью предотвращения низкой удовлетворенности больного.

Актуальность применения ИИ в медицинском прогнозировании настолько высока, что ряд авторов предлагает отказаться патентовать алгоритмы ИИ и сделать их открытыми и широкодоступными [12]. Так, например, для языка Python эти возможности предоставляются открытой программной библиотекой машинного обучения TensorFlow, открытой нейросетевой библиотекой Keras и некоторыми другими источниками.

После разочарования в возможностях ИИ в медицине (период «зимы ИИ») вновь появляется более обоснованный, чем ранее и практически ориентированный оптимизм. Однако, возникают опасения нового свойства, – что развитие технологий ИИ может негативно отразиться на количестве рабочих мест для врачей и занятости медицинского персонала [13]. В этой связи представляется важным осуществлять разработку алгоритмов, ориентированных не на замену врача, а на создание его искусственных помощников. Такая задача представляется более этичной, как по отношению к медицинским работникам, так и более безопасной для пациентов. К аналогичному, сдержанному подходу применения ИИ, призывают и большинство специалистов, занимающихся вопросами этики и безопасности применения ИИ [14].

В техническом плане наибольший интерес для прогнозирования представляют две технологии, относимые к слабому типу ИИ – искусственные нейронные сети и генетические алгоритмы. В настоящей работе речь пойдет только об искусственных нейронных сетях. Их применение может дать значительную пользу по улучшению медицинских прогнозов самого разного рода [15]. Однако, задачи предсказательной аналитики требуют обучения машинного алгоритма адекватными входными данными, которые могут быть как качественными, так и количественными. Но, самое важное – они должны быть достаточно информативными и иметь приемлемый уровень предикативной мощности для обучения нейронной сети.

Еще одна проблема – выбор архитектуры нейронной сети. Разные типы искусственных нейронных сетей дают прогнозы разного качества, что может зависеть от особенностей входных данных, использованных при обучении.

В связи с вышесказанным представляется актуальной оценка эффективности обучения искусственных нейронных сетей прогнозированию уровня удовлетворенности пациентов на основе базовых сведений (пол, возраст и т.п.), которые можно получить еще на этапе заполнения медицинской документации, до проведения врачебного осмотра. Для того, чтобы врач мог сопоставить данные, получаемые им при обследовании больного с данными предлагаемыми машинными алгоритмами.

Цель исследования: oценить возможности использования нейронных сетей разного типа в прогнозировании уровня удовлетворенности пациентов на основе базовых сведений.

Дизайн исследования: исследование проведено в группе пациентов стационара специализированной клиники восстановительного лечения. Были собраны базовые сведения (факторы), на основе которых с помощью компьютерных алгоритмов осуществлялся поиск оптимальной архитектуры нейросети, ее обучение и тестирование.

Пациенты были распределены в две группы: группа обучения ИИ и группа тестирования.

У пациентов в качестве входного набора данных использовались базовые сведения (факторы) по таким категориям, как пол, возраст, семейное положение (женат/не женат, замужем/не замужем), условия проживания (один или с семьей), образование (высшее/не высшее), курение (курит/не курит), наличие инвалидности и группа (инвалидности нет, инвалидность какой группы), давность заболевания в годах, давность инвалидности в годах.

После сбора сведений от пациентов из группы обучения полученные наборы данных были задействованы для поиска оптимальной архитектуры нейросети, при которой сеть дает прогноз с минимально возможной ошибкой. Выбор осуществлялся между двумя группами сетей – многослойными сетями с прямой связью (MLF) и сетями Байесовского типа (OPH). Затем, точность предсказаний проверялась в группе тестирования. Сравнивались реальные оценки пациентами своей удовлетворённости с предсказываемыми машинными алгоритмами. На основе этого делался вывод о точности прогнозирования сети.

МАТЕРИАЛЫ И МЕТОДЫ

Материалом исследования послужили сведения, полученные от 98 пациентов специализированной клиники восстановительного лечения, распределенных в две группы. В группу обучения ИИ вошли 78 человек (данные от них послужили основой для обучения ИИ) и группа тестирования в 20 человек (данные от этой группы оценивались для тестирования обученной нейронной сети с целью определения ошибки прогностической аналитики). По полу, возрасту и иным показателям группы были сопоставимы. Распределение в группы осуществлялось с помощью генератора случайных чисел.

Среди пациентов стационара с различными заболеваниями опорно-двигательного аппарата (М00-М99 по МКБ-10) было 26 мужчин и 72 женщины, средний возраст составил 57,6 года±13,2 года. Состояли в браке 46 пациента, 52 не состояли в брачных отношениях. Проживали с семьей 53 пациентов, 45 живут без семьи – одинокие. Имеют высшее образование 59 человек, не имеют высшего образования 39 пациентов. Курят 12 пациентов, остальные 86 человек не имеют этой привычки. Инвалидность 3 группы имели 11 человек, инвалидность 2 группы имели 14 человек, остальные 73 пациента не имели установленной инвалидность. Давность заболевания по поводу, которого пациенты получали лечение в стационаре составила в среднем 1,78 года. Давность установления инвалидности, у тех пациентов, у кого она есть (25 человек), составила в среднем 5,17 года.

1. Визуально-аналоговая шкала (ВАШ) для определения удовлетворенности лечением. Измерялась собственно удовлетворенность лечением (0 баллов – совсем не удовлетворен, 10 баллов – полностью удовлетворен) и ее частные аспекты: польза от лечения 0-10 баллов по ВАШ (0 баллов – нет пользы, 10 баллов – польза максимальная); желание продолжать лечение 0-10 баллов по ВАШ (0 баллов – совсем нет желания продолжать данное лечение, 10 баллов – желание продолжать лечение максимальное); удовлетворенность взаимодействием с врачом 0-10 баллов (0 баллов – совсем не удовлетворен, 10 баллов – полностью удовлетворен); переносимость лечения 0-10 баллов (0 баллов – полная непереносимость лечения, 10 баллов – лечение переноситься максимально хорошо).
2. Искусственные нейронные сети. В настоящем исследовании было задействовано несколько нейронных сетей, реализованных в профессиональной версии программы NeuralTools. По архитектуре это были многослойные сети с прямой связью (MLF) и сети Байесовского типа (OPH) с возможностью обратного распространения ошибки. Для обучения сетей устанавливались границы времени – 2 часа, для тестирования в процессе обучения предлагалось использовать 20% данных из всего набора, количество узлов сети предлагалось определять программе в автоматическом режиме, количество проб – 10000000.
3. Статистическая обработка данных осуществлялась с помощью компьютерных программ для статистической обработки данных SPSS и программой для обработки результатов биомедицинских исследований StatPlus Pro5.

РЕЗУЛЬТАТЫ

Структура данных для обучения искусственного интеллекта (входные данные) кроме базовых сведений включала данные об удовлетворенности больных реабилитацией/лечением (8,6 балла ± 1,1 балла), субъективно определяемой пользой от лечения (8,2 баллов ±1,83 балла), желанием продолжать назначенное лечение (9,5 балла ± 0,82 балла), удовлетворенностью взаимодействием с лечащим врачом (8,7 балла ±1,13 балла), переносимостью лечением (9,4 балла ±0,95 балла).

И, если базовые сведения использовались в качестве входных данных для обучения нейросетей, то уровень удовлетворенности лечением (реабилитацией) являлся выходным параметром нейросети.

Анализ связи между субъективными оценками удовлетворенности и изучаемыми факторами

Коэффициент детерминации субъективно определяемой пользы от лечения в зависимости от удовлетворенности лечением (реабилитацией) в уравнении полиномиальной регрессии (со степенью полинома =2) – R² = 0,26. Коэффициент детерминации субъективно определяемой пользы от лечения в зависимости от (предиктивной переменной) желания продолжать начатое лечение R² = 0,38, в зависимости от удовлетворенности взаимодействием с врачом – R²=0,29 и в зависимости от переносимости лечения – R² = 0,17.

Таким образом, связь между удовлетворенностью лечением, как обобщенным показателем и ее частными аспектами, оказалась невысокой, коэффициент детерминации самой лучшей модели – «желание продолжать начатое лечение» оказался ниже 50% (обычно считающегося критическим для оценки приемлемости модели).

По данным корреляционного анализа при рассмотрении переменных в качестве независимых, между уровнем удовлетворенности лечением (реабилитацией) и пользой от лечения U-критерий Манна-Уитни составил Z=0,3 (р=0,76), Критерий Колмогорова-Смирнова =0,27 (р=0,33). Аналогично была оценена корреляция с уровнем удовлетворенности лечением (реабилитацией) желания продолжать лечение (по критерию Манна-Уитни Z = 0,89 при р=0,37, по критерию Колмогорова-Смирнова максимальная разница = -0,4 при р=0,035), удовлетворенность взаимодействием с врачом (по критерию Манна-Уитни Z = 0,39 при р=0,68, по критерию КолмогороваСмирнова максимальная разница = -0,13 при р=0,97) и переносимость лечения (по критерию Манна-Уитни Z = 2,4 при р=0,01, по критерию Колмогорова-Смирнова максимальная разница = -0,4 при р=0,035).

Как видно, статистически достоверная корреляция наблюдалась только между уровнем удовлетворенности лечением (реабилитацией), с одной стороны, и желанием продолжать лечение и переносимостью лечения, с другой стороны.

Анализ связи базовых данных (факторов) с уровнем удовлетворенности пациентов проводился для количественных переменных с помощью регрессионного анализа. Определено, что коэффициент детерминации оказался очень низким. Так в модели удовлетворенности лечением в зависимости от возраста R² =0,018, от давности заболевания R²= 0,059, от давности инвалидности R²=0,06.

Результаты обучения нейросети

Как уже говорилось, для обучения была использована структура входных данных, включавшая количественные (возраст, давность заболевания в годах, давность установления инвалидности в годах) и качественные показатели (пол, возраст, группа инвалидности, семейное положение, образование, курение). Эти данные сопоставлялись с уровнем удовлетворенности больных (табл. 1).

Таблица 1. Структура данных иcпользованных для обучения нейронных сетей
Table 1. Data structure used for training neural networks

В результате обучения сети была определена лучшая ее конфигурация в виде числового предиктора ОРН-сети. Процент плохих прогнозов такой сети (толерантность 30%): 0,0000%. Среднеквадратическая ошибка: 0,74. Средняя абсолютная погрешность: 0,53. Стандартное отклонение абсолютной ошибки: 0,5. Точность прогнозирования составила 87%.

При тестировании на случайно отобранных случаях процент плохих прогнозов (толерантность 30%): 0,0000%, Среднеквадратическая ошибка: 1,23. Средняя абсолютная погрешность: 1,17. Стандартное отклонение абсолютной ошибки: 0,3.

Отношение прогнозов, сформированных на основе данных основной группы и фактических результатов, полученных у обученной нейронной сети в группе тестирования представлено на рисунке 1, где по оси абсцисс приводятся фактические баллы (реально полученные у пациентов), а по оси ординат приведены прогнозируемые показатели (рассчитанные нейронной сетью). Знак «+» показывает величину ошибки отклонившихся прогнозов.

Рис. 1. Прогнозируемые против фактических результатов в тестовом режиме
Fig. 1. Predicted vs. Actual Test Results

Предиктивная точность нейронной сети против линейного предиктора представлена в таблице 2.

Таблица 2. Линейный предиктор против нейронной сети
Table 2. Linear predictor versus neural network

По сравнению с другими типами нейронных сетей ОРН-сеть имела самый низкий показатель ошибочных прогнозов. Сравнение представлено в таблице 3.

Таблица 3. Сравнение среднеквадратичных ошибок разных типов нейронных сетей
Table 3. Comparison of mean square errors of different types of neural networks

ОБСУЖДЕНИЕ

Полученные результаты свидетельствуют, что между включенными в структуру данными, использованными в настоящей работе для обучения нейросети и удовлетворенностью, существует достаточно выраженная связь (линейный предиктор R²=0,4995).

В тоже время, данные корреляционного анализа и регрессионного анализа (применялся полином 2 степени) свидетельствуют, что приемлемой с точки зрения достоверности связь оказывалась только между уровнем удовлетворенности лечением (реабилитацией), с одной стороны, и желанием продолжать лечение и переносимостью лечения, с другой стороны. Связь между другими изученными факторами была невысокой.

Оптимальной конфигурацией нейронной сети из имевшихся в использованной нами компьютерной программе NeuralTools являлись сети Байесовского типа.

По сравнению с линейным предиктором обученная нейронная сеть имела в два раза меньшую ошибку предсказаний. Учитывая, что сеть прогнозировала количественные показатели удовлетворенности, такой ошибкой можно пренебречь. Ошибка не была столь значительной, чтобы это могло сказаться на оценке рисков неудовлетворенности пациентов и соответствующем реагировании служб медицинского сервиса.

Таким образом, полученные результаты свидетельствуют, что применение социальнодемографических и биофизиологических данных о больном (которые можно получить еще на этапе оформления документации при поступлении на лечение) для обучения нейронных сетей позволяет достаточно точно прогнозировать удовлетворенность больных.

ВЫВОДЫ

1. Применение нейронных сетей, использующих для обучения данные о поле, возрасте, семейном положении, условиях проживания, образовании, курении, наличии инвалидности, ее группе, давности заболевания и инвалидности, обеспечивает прогноз удовлетворенности пациентов оказываемой им медицинской помощью с приемлемым уровнем точности 87%.
2. Оптимальной конфигурацией нейронной сети при обучении на основе базовых сведений является OPH сеть в противовес линейному предиктору.

ЛИТЕРАТУРА

1. Chiolero A, Burnier M, Santschi V. Improving treatmentsatisfaction to increase adherence. J Hum Hypertens 2016 May;30(5):295-6. https://doi.org/10.1038/jhh.2015.89. Epub 2015 Aug 20. PMID: 26290276.
2. Разумов А.Н. Здоровье нации. Медицина: целевые проекты 2018. № 29. С. 96. [Razumov A.N. Zdorove natsii. Meditsina: tselevyie proektyi = Medicine: targeted projects 2018. # 29. S. 96].
3. Sidani S., Epstein D.R. Toward a Conceptualization and Operationalization of Satisfaction with Nonpharmacological Interventions. Res Theory Nurs Pract 2016; Aug 1;30(3):242-257. https://doi.org/10.1891/1541-6577.30.3.242.
4. Садовой М.А., Кобякова О.С., Деев И.А., Куликов Е.С., Табакаев Н.А., Тюфилин Д.С., Воробьева О.О. Удовлетворенность качеством медицинской помощи: «всем не угодишь» или «пациент всегда прав»? Бюллетень сибирской медицины 2017. Т. 16. № 1. С. 152-161. [Sadovoy M.A., Kobyakova O.S., Deev I.A., Kulikov E.S., Tabakaev N.A., Tyufilin D.S., Vorobeva O.O. Udovletvorennost kachestvom meditsinskoy pomoschi: «vsem ne ugodish» ili «patsient vsegda prav»? Byulleten sibirskoy meditsinyi = Bulletin of Siberian Medicine 2017. T. 16. # 1. S. 152-161].
5. Young G.J., Meterko M., Desai K.R. Patient satisfaction with hospital care: effects of demographic and institutional characteristics. Med Care 2000 Mar;38(3):325-34. https://doi.org/10.1097/00005650-200003000-00009.
6. Bernal O.A., McClintock H.F., Kurichi J.E., Kwong P.L., Xie D., Streim J.E., Pezzin L.E., Bogner H.R. Patient Satisfaction and Perceived Quality of Care Among Younger Medicare Beneficiaries According to Activity Limitation Stages. Arch Phys Med Rehabil 2019 Feb;100(2):289-299. doi: 10.1016/j.apmr.2018.09.114. Epub 2018 Oct 12. PMID: 30316959.
7. Peltzer K., Pengpid S. Loneliness correlates and associations with health variables in the general population in Indonesia. Int J Ment Health Syst 2019 Apr 10;13:24. https://doi.org/10.1186/s13033-019-0281-z. eCollection 2019. PMID: 31007711.
8. Puvill T., Kusumastuti S., Lund R., Mortensen E.L., Slaets J., Lindenberg J., Westendorp RG.J. Do psychosocial factors modify the negative association between disability and life satisfaction in old age? PLoS One 2019 Oct 31;14(10): e0224421. https://doi.org/10.1371/journal.pone.0224421. eCollection 2019. PMID: 31671131.
9. Callander E.J. Pathways between health, education and income in adolescence and adulthood. Arch Dis Child 2016 Sep;101(9):825-31. https://doi.org/10.1136/archdischild- 2015-309721. Epub 2016 May 20. PMID: 27207865.
10. Plurphanswat N., Kaestner R., Rodu B. The Effect of Smoking on Mental Health. Am J Health Behav 2017 Jul 1;41(4):471-483. https://doi.org/10.5993/AJHB.41.4.12. PMID: 28601107.
11. Patrick D.L., Scrivens E., Charlton J.R. Disability and patient satisfaction with medical care. Med Care 1983 Nov;21(11):1062-75. PMID: 6228699.
12. Van Calster B., Steyerberg E.W., Collins G.S. Artificial Intelligence Algorithms for Medical Prediction Should Be Nonproprietary and Readily Available. JAMA Intern Med 2019 May 1;179(5):731. https://doi.org/10.1001/jamainternmed.2019.0597. No abstract available. PMID: 31058938.
13. London A.J. Groundhog Day for Medical Artificial Intelligence. Hastings Cent Rep 2018 May;48(3): inside back cover. https://doi.org/10.1002/hast.842. PMID: 29806902.
14. Shortliffe E.H. Artificial Intelligence in Medicine: Weighing the Accomplishments, Hype, and Promise. Yearb Med Inform 2019 Aug;28(1):257-262. https://doi.org/10.1055/ s-0039-1677891. Epub 2019 Apr 25. PMID: 31022745.
15. Ramesh AN, Kambhampati C, Monson JR, Drew PJ. Artificial intelligence in medicine. Ann R Coll Surg Engl 2004 Sep;86(5):334-8. Review. PMID: 15333167 .