Высшая школа организации и управления здравоохранением
Доступность доказательств эффективности предиктивных алгоритмов машинного обучения в первичном звене здравоохранения: систематический обзор
Введение
В большинстве стран с высоким уровнем дохода первичное звено здравоохранения страдает от растущего бремени полиморбидности стареющего населения, а также от нехватки персонала [1]. Первичное звено здравоохранения генерирует большие объемы регулярно собираемых кодированных и свободных текстовых клинических данных, которые могут использоваться гибкими и мощными методами машинного обучения (МО) для облегчения ранней диагностики, улучшения лечения, предотвращения нежелательных эффектов и результатов [2–5]. Поэтому первичное звено здравоохранения является весьма интересной областью для внедрения предиктивных алгоритмов МО в повседневную клиническую практику [6–8].
Тем не менее научная литература описывает внедрение искусственного интеллекта (ИИ), особенно предиктивных алгоритмов МО, как ограниченное и значительно отстающее от других секторов, использующих технологии, основанные на данных. Предиктивные алгоритмы МО в здравоохранении часто подвергаются критике из-за отсутствия понятности и прозрачности для медицинских работников и пациентов, а также из-за трудности их объяснения и интерпретации [8–11]. Кроме того, публикация рецензируемых доказательств ограничена, а полезность предиктивных алгоритмов МО в клинических рабочих процессах часто остается неясной [8, 12–14].
Министерство здравоохранения, благосостояния и спорта Нидерландов заказало разработку и валидацию голландского руководства по высококачественному диагностическому и прогностическому применению ИИ в здравоохранении. Опубликованное в 2022 г. голландское руководство по предиктивному алгоритму искусственного интеллекта (AIPA) применимо к предиктивным алгоритмам МО [15, 16]. Руководство поощряет сбор данных и доказательств в соответствии с 6 фазами и критериями, изложенными в жизненном цикле ИИ (требования), предоставляя всесторонний обзор существующих аспектов руководства по исследованиям на протяжении всего жизненного цикла ИИ.
В этом систематическом обзоре мы стремились (1) выявлять предиктивные алгоритмы МО, внедряемые в первичное звено здравоохранения, на основе рецензируемой литературы и баз данных регистрации Управления по контролю качества пищевых продуктов и лекарственных средств США (FDA) и Conformité Européene (CE), а также (2) удостовериться в общедоступности доказательств, включая рецензируемую литературу, иные публикации и технические отчеты, на протяжении всех этапов жизненного цикла ИИ. Для этой цели голландское руководство AIPA было адаптировано в практический инструмент для оценки критериев качества каждого предиктивного алгоритма МО.
Методы
Мы провели систематический обзор в 2 этапа. Во-первых, мы систематически выявляли предиктивные алгоритмы МО путем поиска в рецензируемой литературе и регистрационных базах данных FDA и CE. Во-вторых, мы убедились в наличии доказательств для выявленных алгоритмов на протяжении всего жизненного цикла ИИ, систематически просматривая базы данных литературы и технические отчеты, изучая ссылки в соответствующих исследованиях, проводя поиск по продуктам, посещая веб-сайты производителей, связываясь с авторами и владельцами продуктов. Мы следовали руководству по отчетности для систематических обзоров и метаанализов (PRISMA) [17].
Критерии отбора
Рецензируемые исследования включались в обзор, если соответствовали всем критериям отбора: (1) опубликованы с января 2000 г. по июль 2023 г.; (2) написаны на английском языке; (3) опубликованы в виде оригинальных результатов; (4) посвящены предиктивному алгоритму МО, предназначенному для первичного звена здравоохранения; (5) сфокусированы на внедрении предиктивного алгоритма МО в исследовательской среде или в клинической практике, включая, например, пилотные исследования, исследования осуществимости, реализации или клинической валидации.
В данном обзоре рассматривались следующие методы МО: (глубокие) нейронные сети; метод опорных векторов и случайного леса, – разработанные для задач компьютерного зрения и обработки естественного языка, направленные на прогнозирование состояния здоровья отдельных пациентов. Мы классифицировали исследование как применяющее МО, если в нем использовался нерегрессионный статистический метод для разработки или проверки модели прогнозирования, аналогичный методу C.L. Andaur Navarro и соавт. [9], за исключением традиционных статистических подходов, таких как экспертные системы и деревья решений, основанных на экспертных знаниях. Исследования, посвященные разработке предиктивных алгоритмов МО или внешней валидации без внедрения в первичное звено здравоохранения, были исключены. Учитывая, что более 60% инструментов ИИ с маркировкой CE не встречаются в электронных исследовательских базах данных [12], в этот обзор были включены предиктивные алгоритмы МО с маркировкой CE или одобренные FDA, опубликованные в базах данных регистрации FDA и CE [18–20].
Источники данных и стратегия поиска
Поиск проводили с использованием электронных баз данных PubMed, Embase, Web of Science, Cochrane Library, Emcare, Academic Search Premier, IEEE Xplore, ACM Digital Library, MathSciNet, AAAI.org (Ассоциация по развитию искусственного интеллекта), arXiv, Epistemonikos, PsycINFO и Google Scholar. В июле 2023 г. во всех базах данных был выполнен поиск записей с января 2000 г. по июль 2023 г. Поисковые запросы, полученные из разветвленных структур MeSH (медицинские предметные рубрики) Национальной медицинской библио теки и экспертных знаний группы экспертов, сформировали комбинацию, связанную с ИИ, первичным звеном здравоохранения [21] и реализацией [22] (определено во Вставке 1). Полная стратегия поиска представлена в онлайн-версии статьи: Приложение 1, Дополнение 1.
|
Таблица 1. Обзор требований в рамках голландского руководства по предиктивному алгоритму искусственного интеллекта (ИИ) для высококачественного диагностического и прогностического применения ИИ в здравоохранении
|
Процесс отбора
Трое исследователей (R.M.M., vB.M.M. и K.S.) провели независимую проверку процесса
отбора, разрешив разногласия путем обсуждения со старшим рецензентом (vO.H.J.A.). Полный процесс отбора подробно описан в онлайнверсии статьи: Приложение 2, Дополнение 1.
Извлечение данных
Для сбора общедоступных доказательств для всех выявленных предиктивных алгоритмов МО использовали 5 стратегий: (1) поиск в PubMed и Google Scholar с использованием названий продуктов, компаний и имен авторов; (2) поиск технических отчетов в базах данных FDA и регистрации CE в интернете; (3) изучение ссылок в выбранных исследованиях; (4) посещение веб-сайтов производителей предиктивных алгоритмов МО; (5) сбор информации у авторов и владельцев продуктов по электронной почте или по телефону с просьбой заполнить онлайн-анкету о представленных доказательствах (см. онлайн-версию статьи: Приложение 3, Дополнение 1). Принятые источники данных включали оригинальные рецензируемые статьи на английском языке, а также демонстрационные материалы, доклады конференций и планы управления данными (DMP).
Доступность доказательств была классифицирована в соответствии с фазами жизненного цикла (Вставка 2) и требованиями для каждой фазы, установленными голландским руководством AIPA [15, 16]. Эти требования определены как аспекты, которые необходимо учитывать в течение жизненного цикла предиктивного алгоритма ИИ (табл. 1). Поэтому разработчикам, исследователям или владельцам предиктивных алгоритмов МО в идеале следует предоставлять данные и доказательства относительно этих аспектов.
Статистический анализ
Степень соответствия доказательств каждого предиктивного алгоритма МО требованиям голландского руководства AIPA оценивали на каждой фазе жизненного цикла (см. табл. 1, Вставку 2; онлайн-версию статьи: табл. 1, Дополнение 1), используя оценки доступности (2 – полная, 1 – частичная и 0 – отсутствует). Было проведено 2 анализа. Во-первых, доступность доказательств по каждому требованию была представлена в процентах с учетом требований по фазам жизненного цикла. Наличие доказательств по каждой фазе жизненного цикла было выражено в процентах и рассчитано путем деления суммы баллов конкретной фазы жизненного цикла на максимально возможный балл. Во-вторых, доступность доказательств для каждого предиктивного алгоритма МО рассчитывалась как сумма значений для всех требований, деленная на общее количество применимых требований, за исключением требований, которые не были применимы из-за фазы жизненного цикла алгоритма (см. онлайнверсию статьи: табл. 1, Дополнение 1; требования закрашены оранжевым цветом); знаменатель составил 48.
Цель этих оценок доступности – предоставить обзор реализованных предиктивных алгоритмов МО и доказательств на каждой фазе жизненного цикла.
Анализ был проведен независимо каждым автором (R.M.M., vB.M.M. и K.S.), разногласия разрешали путем обсуждения с другим автором (vO.H.J.A.). Данные анализировали с помощью Microsoft Excel для Windows 11 (Microsoft Corp).
Результаты
Предиктивные алгоритмы машинного обучения, внедренные в первичное звено здравоохранения
Из 5994 первоначально выявленных исследований 20 (включая 19 предиктивных алгоритмов МО) соответствовали критериям включения и были включены в этот систематический обзор. Один алгоритм был исключен после того, как личное общение подтвердило, что используемый инструмент был экспертной системой на основе правил [23]. Кроме того, были включены 25 коммерческих предиктивных алгоритмов МО в первичном звене здравоохранения, имеющих маркировку CE или одобренных FDA [18]. Только 2 предиктивных алгоритма МО были найдены в базах данных регистрации FDA или CE и в базах данных литературы, в которых был выполнен поиск [24–27]. В анализ были включены 43 AIPA (рис. 1).
Табл. 2 содержит обзор основных характеристик 43 предиктивных алгоритмов МО, включенных в этот обзор [24–65]. Большинство исследований [35 (81%)] были опубликованы за последние 5 лет (2018–2023) [24, 26–36, 40–46, 50–55, 57–62, 64–66, 68]. Большинство предиктивных алгоритмов МО [36 (84%)] попадают в категорию систем поддержки принятия клинических решений для диагностики или определения показаний к лечению (рис. 2) [24–29, 31–35, 37–42, 44, 46, 47, 49, 51–53, 55–61, 63–67].
27 (63%) предиктивных алгоритмов МО были сосредоточены на сердечно-сосудистых заболеваниях и диабете (см. рис. 2) [24–28, 32–34, 37–47, 50, 57, 60, 62, 64, 66, 68]. Кроме того, 9 (21%) AIPA упомянули использование ИИ в описаниях своих продуктов, но не предоставили конкретных подробностей о методе ИИ, примененном для разработки модели [37–39, 42, 45, 47, 48, 50, 54]. Эти 9 предиктивных алгоритмов МО были одобрены FDA или имели маркировку CE. 12 из 43 (28%) предиктивных алгоритмов МО были реализованы (этап жизненного цикла 6) в исследовательской среде, но не на практике [26, 31–34, 58, 61–64, 66, 67].
Доказательства эффективности предиктивных алгоритмов машинного обучения
Поиск общедоступных данных по 43 предиктивным алгоритмам МО дал 1541 результат, среди них было 33 дубликата. 82 публикации соответствовали критериям включения. Кроме того, 80 публикаций были предоставлены владельцами/авторами продукта или получены с веб-сайтов поставщиков. В общей сложности в исследование были включены 162 публикации, в том числе рецензируемые статьи, технические отчеты, демонстрационные материалы, доклады конференций и DMP (см. онлайн-версию статьи: рисунок, Дополнение 1). 9 авторов и владельцев продуктов заполнили онлайнанкету о представленных доказательствах эффективности предиктивного алгоритма МО. Обзор опубликованных характеристик для каждого алгоритма предиктивного МО представлен в онлайн-версии статьи: табл. 2, Дополнение 1. Обзор доступности доказательств для каждого предиктивного алгоритма МО представлен в онлайн-версии статьи: табл. 3, Дополнение 1.
Доказательства по каждому требованию
Обзор доступности доказательств по каждому требованию и в соответствии с фазой жизненного цикла показан на рис. 3. Тремя наиболее распространенными типами доказательств для каждого требования были четкое определение целевого использования модели ИИ, оценка ее статистических характеристик, соблюдение стандартов и требований к программному обеспечению (доступность 78, 47 и 66% соответственно). Напротив, наименьшее количество доступных доказательств относилось к плану внедрения, мониторингу и оценке медицинских технологий (доступность 2, 2 и 14% соответственно), в основном из-за отсутствия информации от одобренных FDA и имеющих маркировку CE предиктивных алгоритмов МО.
Фазой жизненного цикла с наиболее полными доказательствами стала фаза 2 (разработка), где было получено 46% по наличию доказательств для соответствующих требований. За этим последовала фаза жизненного цикла 3 (валидация) с доступностью доказательств 39%. Фазами жизненного цикла с наиболее ограниченной доступностью доказательств были фаза 1 (подготовка) – 19%, а фаза 5 (оценка воздействия) – 30%. Имеющиеся в продаже AIPA с маркировкой CE и одобренные FDA предоставили меньше доказательств на всех этапах жизненного цикла по сравнению с AIPA, найденными в результате поиска в базе данных литературы (29 против 48% от общего балла, который необходимо было определить).
Доказательства для предиктивного алгоритма машинного обучения
Для 5 (12%) предиктивных алгоритмов МО доказательства были доступны только для 2 требований: определение целевого использования и требуемые стандарты и правила (доступность по оценке предиктивного алгоритма МО: 4 из 48 возможных баллов) [37, 38, 47, 48, 69]. 12 (28%) предиктивных алгоритмов МО получили приблизительно половину своего индивидуального максимально достижимого балла доступности доказательств [24, 26–28, 30, 31, 33, 34, 36, 41, 43, 65]. 12 (28%) не достигли фазы жизненного цикла 6 (реализация) [26, 31–34, 36, 58, 61–64, 66].
Предиктивные алгоритмы МО, которые показали самую высокую доступность доказательств на оценку предиктивного алгоритма МО, были алгоритмом прогнозирования риска для выявления недиагностированной фибрилляции предсердий [28] (36 из 48 возможных баллов) и инструментом поддержки принятия клинических решений на основе ИИ, который позволил провести раннюю диагностику низкой фракции выброса (37 из 42 возможных баллов) [34]. Оба предиктивных алгоритма МО на момент публикации не имели маркировки CE и одобрения FDA. В целом предиктивные алгоритмы МО, выявленные с помощью поиска в рецензируемой базе данных литературы, дали больше общедоступных доказательств [24, 26, 28–36, 58, 61–66] по сравнению с предиктивными алгоритмами МО, выявленными исключительно из одобренных FDA или имеющих маркировку CE баз данных (45 против 29%) (см. онлайнверсию статьи: табл. 2, Дополнение 1) [25, 27, 37–55, 57, 59, 60, 68].
Обсуждение
Насколько нам известно, этот систематический обзор дает самый полный обзор предиктивных алгоритмов МО, реализованных в первичном звене здравоохранения на сегодняшний день, и выявляет недостаточную публичную доступность доказательств широкого набора критериев качества предиктивных алгоритмов МО. Доступность доказательств была крайне противоречивой по включенным в исследование предиктивным алгоритмам МО, жизненным циклам и отдельным критериям качества. Предиктивные алгоритмы МО, выявленные на основе рецензируемой литературы, как правило, предоставляют больше общедоступных доказательств по сравнению с предиктивными алгоритмами МО, выявленными исключительно на основе баз данных регистрации FDA или CE.
Результаты совпадают с результатами ранее опубликованных исследований. Нехватка доказательств особенно выражена среди предиктивных алгоритмов МО, получивших одобрение FDA или маркировку CE [9, 12, 13, 70–72]. Известно, что многие разработчики ИИ в отрасли здравоохранения не раскрывают информацию в литературе о разработке, проверке, оценке или внедрении инструментов ИИ [12, 19, 73]. Может возникнуть противоречие между защитой интеллектуальной собственности и прозрачностью [74]. Более того, не все доказательства требуют экспертной оценки, включая нормативные процессы, такие как получение маркировки CE, когда уполномоченные органы оценивают доказательства соответствия медицинских изделий с высоким риском. Однако могут возникнуть опасения относительно сложности методологий при составлении отчетов об эффективности в клинических условиях. В таких случаях предпочтение может отдаваться рецензируемому процессу, чтобы гарантировать, что оценка не будет полагаться исключительно на уполномоченные органы [75]. ХотяFDA и Регламент Европейского Союза по медицинским изделиям, а в последнее время и Закон об искусственном интеллекте, запустили новые инициативы по повышению прозрачности, раскрытие доказательств не было обязательным на момент написания этого систематического обзора [76–80]. Было бы интересно оценить влияние нового регулирования в будущем.
Доступность доказательств способствует прозрачности и доверию среди конечных пользователей, позволяя другим исследователям тщательно изучать используемые данные и методы, обеспечивая этичные и беспристрастные методы исследований и разработок [81, 82]. Исследователи могут опираться на предыдущую работу, продвигая научные знания и предоставляя доказательства. Если исследованиям не хватает необходимых подробностей, последующие исследователи, скорее всего, создадут новую модель ИИ вместо проверки или обновления существующей. Кроме того, прозрачная отчетность о предиктивных алгоритмах МО поощряет бдительность среди пользователей, повышая уровень доверия людей к ИИ, как показывают исследования человеческого фактора [82]. В то же время непредоставление доказательств может повредить безопасности пациентов, например из-за алгоритмически сгенерированных результатов, интерпретаций и рекомендаций, которые демонстрируют необоснованные преимущества или недостатки для конкретных лиц или групп [83].
Результаты показывают, что наиболее скудными были доказательства наличия или упоминания DMP. Хотя DMP не обязательно долженбыть общедоступным, он имеет решающее значение для подготовки к сбору, управлению и обработке данных. DMP играет всеобъемлющую роль на всем пути к структурному внедрению и использованию модели ИИ в повседневной практике [84]. Он образует существенный компонент для каждого этапа жизненного цикла предиктивного алгоритма МО, может гарантировать и защищать качество данных, воспроизводимость и прозрачность, стремясь к находимым, доступным, совместимым и повторно используемым (FAIR) данным [85–88]. Принципы FAIR направлены на поддержку повторного использования научных данных, включая алгоритмы, и на то, чтобы сделать данные доступными, повторно используемыми для людей и машин [87]. Хотя принципы FAIR были широко приняты в академических контекстах, реакция отрасли была менее последовательной [89].
Также было недостаточно данных относительно оценки воздействия и технологий здравоохранения с использованием предиктивных алгоритмов МО. Отсутствие доступных оценок результатов и внедрения в повседневную клиническую практику может помешать переносу результатов исследований в практическое здравоохранение [90]. Отсутствие такой информации также может препятствовать внедрению, поскольку медицинским специалистам нужны надежные доказательства, чтобы завоевать доверие к этим технологиям и последовательно интегрировать их в свой повседневный рабочий процесс. Медицинские специалисты подчеркивают важность соблюдения правовых и этических стандартов, а также стандартов качества. Они говорят о необходимости обучения интерпретации имеющихся доказательств, подтверждающих безопасность систем ИИ, включая предиктивные алгоритмы МО и их эффективность [8, 81]. Без этой информации сложно определить, обусловлен ли успех модели предиктивного алгоритма МО самой моделью, элементами ее реализации или тем и другим. В результате может быть сложно информировать заинтересованные стороны о том, какие, как и для кого предиктивные алгоритмы МО наиболее эффективны.
Значение для исследований и практики
Применение требований голландского руководства AIPA для структурирования доступности доказательств, как показано в этом систематическом обзоре, может послужить образцом для демонстрации надежности, прозрачности и передовых возможностей предиктивных алгоритмов МО методологам, врачам первичного звена здравоохранения и пациентам. Руководство также может ускорить процесс приведения в соответствие нормативным требованиям [16]. Хотя оно не является юридически обязывающим, разработчики и исследователи могут использовать руководство как основу для самооценки. Кроме того, в контексте первичного звена здравоохранения в Нидерландах, где врачи общей практики часто работают в небольших организациях, ограниченные ресурсы могут помешать им эффективно оценивать сложные модели ИИ [91]. Поэтому комплексные инструменты для оценки доступности доказательств по предиктивным алгоритмам МО, такие как голландское руководство AIPA и разработанный нами практический инструмент оценки, представляют ценность для специалистов первичного звена здравоохранения и могут способствовать широкомасштабному внедрению предиктивных алгоритмов МО в практ ику. Поскольку первичное звено здравоохранения во всем мире находится в жестких рамках, с точки зрения систем здравоохранения крайне важно устранить барьеры на пути внедрения инноваций, таких как предиктивные алгоритмы МО.
Ограничения
Данное исследование имеет методологические ограничения, которые следует учитывать.
Во-первых, из сферы охвата систематического обзора исключены предиктивные модели, основанные на регрессии, и простые системы, основанные на правилах. Хотя эти подходы могут иметь существенную ценность для первичного звена здравоохранения, акцент на предиктивных алгоритмах МО позволил предоставить углубленный обзор аспектов сложности и интерпретируемости модели. Хотя большинство принятых определений МО не исключают простую регрессию, ее область применения оказалась полезной для поддержания управляемого обзора более сложных моделей, которые создают уникальные проблемы для стандартизированной отчетности по разработке, проверке и внедрению моделей.
Во-вторых, мы ограничили систематический обзор статьями, опубликованными на английском языке. Мы считаем, что это ограничение не оказывает существенного влияния на обобщаемость результатов, поскольку предыдущие исследования не обнаружили никаких доказательств систематической предвзятости из-за ограничения, налагаемого английским языком [92].
В-третьих, мы не смогли формально сравнить прогностическую валидность между предиктивными алгоритмами МО из-за существенных различий в типах моделей ИИ и неоднородных методов в разных исследованиях. Кроме того, оценки доступности, представленные в данном исследовании, следует рассматривать как приблизительную оценку степени доступности доказательств для общественности в соответствии с описанными целями.
В-четвертых, голландские рекомендации AIPA являются местной нормой, не имеющей обязательной юридической силы. Существует несколько международных руководств по ИИ, которые применяются к предиктивным алгоритмам МО, например TRIPOD+AI (прозрачная отчетность многомерной прогностической модели для индивидуального прогноза или диагностики) для разработки и валидации, DECIDE-AI (Разработочные и исследовательские клинические исследования систем поддержки принятия решений, управляемых искусственным интеллектом) для изучения осуществимости и SPIRIT-AI (Стандартные пункты протокола: рекомендации для интервенционных исследований с применением искусственного интеллекта) и CONSORT-AI (Консолидированные стандарты отчетности об испытаниях с применением искусственного интеллекта) для оценки воздействия [93–97]. Однако эти международные руководства в первую очередь предназначены для исследователей. Мы решили взять за основу голландское руководство AIPA, поскольку оно обеспечивает полную, структурированную и прагматичную оценку качества, полученную на основе существующих руководств по всему жизненному циклу ИИ, а оно конкретно касается предиктивных алгоритмов, имеющих большой потенциал в медицинской отрасли [15]. Оно особо подчеркивает аспекты внедрения и применения в клинической практике и поэтому может быть полезно для специалистов первичного звена здравоохранения.
Заключение
В этом систематическом обзоре мы всесторонне определили наличие доказательств эффективности предиктивных алгоритмов МО в первичном звене здравоохранения, используя в качестве справочного материала голландское руководство AIPA. Мы обнаружили нехватку доказательств на всех этапах жизненного цикла ИИ для реализованных предиктивных алгоритмов МО, особенно из алгоритмов, опубликованных в базах данных, одобренных FDA или имеющих маркировку CE. Принятие рекомендаций, таких как рекомендации голландской AIPA, может улучшить доступность доказательств, касающихся критериев качества предиктивных алгоритмов МО. Это могло бы способствовать прозрачному и последовательному отражению критериев качества в литературе, потенциально укрепляя доверие среди конечных пользователей и способствуя широкомасштабному внедрению.
Раскрытие информации о конфликте интересов: не сообщалось.
Финансирование/поддержка. Эта работа была поддержана грантом LSHM21009 от Инициативы по инновационным медицинским изделиям (доктор van Os).
Роль владельца бюджета/спонсора: спонсор не играл никакой роли в разработке и проведении исследования, сборе, управлении, анализе и интерпретации данных, подготовке, рассмотрении или одобрении рукописи, а также в решении о представлении рукописи для публикации.
Заявление об обмене данными: см. Дополнение 2.Дополнение 1
Приложение 1. Стратегии поиска, использованные до 7 июля 2023 г.
Приложение 2. Процесс отбора
Приложение 3. Онлайн-анкета для получения информации от авторов и владельцев коммерческих продуктов
Таблица 1. Требования к доказательствам, установленные для каждой фазы жизненного цикла, как описано в голландском руководстве AIPA еРисунок. Схема включения литературы для оценки 6 фаз
Таблица 2. Обзор характеристик публикации по предиктивному алгоритму машинного обучения
Таблица 3. Обзор доступности доказательств для предиктивного алгоритма МОДополнение 2
Заявление о совместном использовании данныхАВТОР ДЛЯ КОРРЕСПОНДЕНЦИИ
Рейкерс Марго М. (Margot M. Rakers) – MD, кафедра общественного здравоохранения и первичной медицинской помощи, медицинский центр Лейденского университета, 2333 ZA Лейден, НидерландыE-mail: mmrakers@lumc.nl
ЛИТЕРАТУРА/REFERENCES
1. Boerma W., Bourgueil Y., Cartier T., et al. Overview and future challenges for primary care. 2015. URL: https://www.ncbi.nlm.nih.gov/books/NBK458729/ (date of access October 20, 2023).
2. Smeets H.M., Kortekaas M.F., Rutten F.H., et al. Routine primary care data for scientifi c research, quality of care programs and educational purposes: the Julius General Practitioners’ Network (JGPN). BMC Health Serv Res. 2018; 18 (1): 735. DOI: https://doi.org/10.1186/s12913-018-3528-5
3. Kuiper J.G., Bakker M., Penning-van Beest F.J.A., Herings R.M.C. Existing data sources for clinical epidemiology: the PHARMO Database Network. Clin Epidemiol. 2020; 12: 415–22. DOI: https://doi.org/10.2147/CLEP.S247575
4. Shilo S., Rossman H., Segal E. Axes of a revolution: challenges and promises of big data in healthcare. Nat Med. 2020; 26 (1): 29–38. DOI: https://doi.org/10.1038/s41591-019-0727-5
5. Moons K.G.M., Kengne A.P., Woodward M., et al. Risk prediction models: I. development, internal validation, and assessing the incremental value of a new (bio)marker. Heart. 2012; 98 (9): 683–90. DOI: https://doi.org/10.1136/heartjnl-2011-301246
6. Babel A., Taneja R., Mondello Malvestiti F., Monaco A., Donde S. Artifi cial intelligence solutions to increase medication adherence in patients with non-communicable diseases. Front Digit Health. 2021; 3: 669869. DOI: https://doi.org/10.3389/ fdgth.2021.669869
7. Hazarika I. Artifi cial intelligence: opportunities and implications for the health workforce. Int Health. 2020; 12 (4): 241–5. DOI: https://doi.org/10.1093/inthealth/ihaa007
8. Liyanage H., Liaw S.T., Jonnagaddala J., et al. Artifi cial intelligence in primary health care: perceptions, issues, and challenges. Yearb Med Inform. 2019; 28 (1): 41–6. DOI: https://doi.org/10.1055/s-0039-1677901
9. Andaur Navarro C.L., Damen J.A.A., Takada T., et al. Risk of bias in studies on prediction models developed using supervised machine learning techniques: systematic review. BMJ. 2021; 375: n2281. DOI: https://doi.org/10.1136/bmj.n2281
10. Shaw J., Rudzicz F., Jamieson T., Goldfarb A. Artifi cial intelligence and the implementation challenge. J Med Internet Res. 2019; 21 (7): e13659. DOI: https://doi.org/10.2196/13659
11. Norori N., Hu Q., Aellen F.M., Faraci F.D., Tzovara A. Addressing bias in big data and AI for health care: a call for open science. Patterns (N Y). 2021; 2 (10): 100347. DOI: https://doi.org/10.1016/j.patter.2021.100347
12. van Leeuwen K.G., Schalekamp S., Rutten M.J.C.M., van Ginneken B., de Rooij M. Artifi cial intelligence in radiology: 100 commercially available products and their scientifi c evidence. Eur Radiol. 2021; 31 (6): 3797–804. DOI: https://doi.org/10.1007/s00330-021-07892-z
13. Andaur Navarro C.L., Damen J.A.A., Takada T., et al. Completeness of reporting of clinical prediction models developed using supervised machine learning: a systematic review. BMC Med Res Methodol. 2022; 22 (1): 12. DOI: https://doi.org/10.1186/s12874-021-01469-6
14. Daneshjou R., Smith M.P., Sun M.D., Rotemberg V., Zou J. Lack of transparency and potential bias in artifi cial intelligence data sets and algorithms: a scoping review. JAMA Dermatol. 2021; 157 (11): 1362–9. DOI: https://doi.org/10.1001/jamadermatol.2021.3129
15. de Hond A.A.H., Leeuwenberg A.M., Hooft L., et al. Guidelines and quality criteria for artifi cial intelligence-based prediction models in healthcare: a scoping review. NPJ Digit Med. 2022; 5 (1): 2. DOI: https://doi.org/10.1038/s41746-021-00549-7
16. van Smeden M., Moons K.G., Hooft L., Chavannes N.H., van Os H.J., Kant I. Guideline for high-quality diagnostic and prognostic applications of AI in healthcare. OSFHome, November 14, 2022. URL: http://OSF.IO/TNRJZ (date of access August 6, 2024).
17. Page M.J., McKenzie J.E., Bossuyt P.M., et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. Syst Rev. 2021; 10 (1) :89. DOI: https://doi.org/10.1186/ s13643-021-01626-4
18. Muehlematter U.J., Daniore P., Vokinger K.N. Approval of artifi cial intelligence and machine learning-based medical devices in the USA and Europe (2015–20): a comparative analysis. Lancet
Digit Health. 2021; 3 (3): e195–203. DOI: https://doi.org/10.1016/S2589-7500(20)30292-2
19. Zhu S., Gilbert M., Chetty I., Siddiqui F. The 2021 landscape of FDA-approved artifi cial intelligence/machine learning-enabled medical devices: an analysis of the characteristics and intended use. Int J Med Inform. 2022; 165: 104828. DOI: https://doi. org/10.1016/j.ijmedinf.2022.104828
20. US Food and Drug Administration. Artifi cial intelligence and machine learning (AI/ML)-enabled medical devices. URL: https:// www.fda.gov/medical-devices/software-medical-device-samd/ artificial-intelligence-and-machine-learning-aiml-enabled-medicaldevices#resources (date of access August 23, 2023).
21. Rifkin S.B. Alma Ata after 40 years: primary health care and health for all-from consensus to complexity. BMJ Glob Health. 2018; 3 (suppl 3): e001188. DOI: https://doi.org/10.1136/bmjgh-2018-001188
22. Gama F., Tyskbo D., Nygren J., Barlow J., Reed J., Svedberg P. Implementation frameworks for artifi cial intelligence translation into health care practice: scoping review. J Med Internet Res. 2022; 24 (1): e32215. DOI: https://doi.org/10.2196/32215
23. Tenhunen H., Hirvonen P., Linna M., Halminen O., Hörhammer I. Intelligent patient fl ow management system at a primary healthcare center – the effect on service use and costs. Stud Health Technol Inform. 2018; 255: 142–6.
24. Liu J., Gibson E., Ramchal S., et al. Diabetic retinopathy screening with automated retinal image analysis in a primary care setting improves adherence to ophthalmic care. Ophthalmol Retina.
2021; 5 (1): 71–7. DOI: https://doi.org/10.1016/j.oret.2020.06.016
25. Eyenuk, Inc. Harnessing deep learning to prevent blindness. URL: https://www.eyenuk.com/en/ (date of access August 5, 2024).
26. Bachtiger P., Petri C.F., Scott F.E., et al. Point-of-care screening for heart failure with reduced ejection fraction using artifi cial intelligence during ECG-enabled stethoscope examination in London, UK: a prospective, observational, multicentre study. Lancet
Digit Health. 2022; 4 (2): e117–25. DOI: https://doi.org/10.1016/S2589-7500(21)00256-9
27. EKO. Unlock AI Murmur & AFib Detection with Eko+. URL: https://www.ekohealth.com/ (date of access August 5, 2024).
28. Hill N.R., Arden C., Beresford-Hulme L., et al. Identifi cation of undiagnosed atrial fi brillation patients using a machine learning risk prediction algorithm and diagnostic testing (PULsE-AI): study protocol fora randomised controlled trial. Contemp Clin Trials. 2020; 99: 106191. DOI: https://doi.org/10.1016/j.cct.2020.106191
29. Herter W.E., Khuc J., Cinà G., et al. Impact of a machine learning-based decision support system for urinary tract infections: prospective observational study in 36 primary care practices.
JMIR Med Inform. 2022; 10 (5): e27795. DOI: https://doi.org/10.2196/27795
30. Bhatt S., Cohon A., Rose J., et al. Interpretable machine learning models for clinical decision-making in a high- need, valuebased primary care setting. NEJM Catal Innov Care Deliv. 2021; 2 (4). DOI: https://doi.org/10.1056/CAT.21.0008
31. Herman B., Sirichokchatchawan W., Nantasenamat C., Pongpanich S. Artifi cial intelligence in overcoming rifampicin resistant-screening challenges in Indonesia: a qualitative study on the user experience of CUHAS-ROBUST. J Health Res. 2021; 36 (6): 1018–27. DOI: https://doi.org/10.1108/JHR-11-2020-0535
32. Wang S.V., Rogers J.R., Jin Y., et al. Stepped-wedge randomised trial to evaluate population health intervention designed to increase appropriate anticoagulation in patients with atrial fi brillation. BMJ Qual Saf. 2019; 28 (10): 835–42. DOI: https://doi. org/10.1136/bmjqs-2019-009367
33. Chiang P.H., Wong M., Dey S. Using wearables and machine learning to enable personalized lifestyle recommendations to improve blood pressure. IEEE J Transl Eng Health Med. 2021; 9: 2700513. DOI: https://doi.org/10.1109/JTEHM.2021.3098173
34. Yao X., Rushlow D.R., Inselman J.W., et al. Artifi cial intelligence-enabled electrocardiograms for identifi cation of patients with low ejection fraction: a pragmatic, randomized clinical trial. Nat
Med. 2021; 27 (5): 815–9. DOI: https://doi.org/10.1038/s41591-021-01335-4
35. Jaremko J.L., Hareendranathan A., Ehsan S., et al. AI aided workfl ow for hip dysplasia screening using ultrasound in primary care clinics. Sci Rep. 2023; 13 (1): 9224. DOI: https://doi.org/10.1038/ s41598-023-35603-9
36. Escalé-Besa A., Fuster-Casanovas A., Börve A., et al. Using artifi cial intelligence as a diagnostic decision support tool in skin disease: protocol for an observational prospective cohort study. JMIR Res Protoc. 2022; 11 (8): e37531. DOI: https://doi.org/10.2196/37531
37. TytoCare. URL: https://www.tytocare.com/ (date of access August 5, 2024).
38. Peerbridge Health. Home. URL: https://peerbridgehealth.com/ (date of access August 5, 2024).
39. Rooti Labs Limited. RootiCare: dependable, continuous montioring. URL: https://www.rootilabs.com/doctor (date of access August 5, 2024).
40. Digital Diagnostics. LumineticsCore. URL: https://www.digitaldiagnostics.com/products/eye-disease/idx-dr/ (date of access August 5, 2024).
41. FibriCheck. Advanced monitoring of your heart rhythm for detection and treatment of atrial fi brillation. URL: https://www.fibricheck.com/nl/ (date of access August 5, 2024).
42. Cardio-Phoenix. Cardio-HART. URL: https://www. cardiophoenix.com/ (date of access August 5, 2024).
43. eMURMUR. Join the world’s fi rst enterprise-level, open platform for advanced digital auscultation. URL: https://emurmur. com/ (date of access August 5, 2024).
44. Minttihealth. Home. URL: https://minttihealth.com/ (date of access August 5, 2024).
45. BioIntelliSense, Inc. BioIntelliSence. URL: https://biointellisense.com/ (date of access August 5, 2024).
46. EchoNous Inc. EchoNous. URL: https://echonous.com/ (date of access August 5, 2024).
47. Coala. COALA heart monitoring system. URL: https://www.coalalife.com/us/ (date of access August 5, 2024).
48. My mhealth. Empowering patients to manage their asthma fora lifetime. URL: https://mymhealth.com/myasthma (date of access August 5, 2024).
49. eMed. eMed weight loss programme. URL: https://www.emed.com/uk (date of access August 5, 2024).
50. Huma. Longer, fuller lives with digtal-fi rst care and research. URL: https://medopad.com/ (date of access August 8, 2024).
51. Skin Analytics. Skin analytics. URL: https://skin-analytics.com/ (date of access August 5, 2024).
52. ResApp Health. ResAppDx-EU. URL: https://digitalhealth.org.au/wp-content/uploads/2020/06/ResAppDx-EU-fl yer.pdf (date of access August 8, 2024).
53. MobileODT. Automated Visual Evaluation (AVE) explained: everything you need to know about the new AI for cervical cancer screening. January 14, 2019. URL: https://www.mobileodt.com/blog/ everything-you-need-to-know-about-ave-automated-visual-examination-for-cervical-cancer-screening/ (date of access June 29, 2022).
54. Kata. Inhale correctly, live better. URL: https://katainhalation.com/en/ (date of access August 5, 2024).
55. SkinVision. Skin cancer melanoma tracking app. URL: https://www.skinvision.com/nl/ (date of access August 5, 2024).
56. Medicalgorithmics. The most effective technology solutions for cardiology. URL: https://www.medicalgorithmics.com/ (date of access August 25, 2023).
57. Apple. IRN Global 2.0. instructions for use. 2021. URL: https://www.apple.com/legal/ifu/irnf/2-0/irn-2-0-en_US.pdf (date of access August 25, 2023).
58. Benrimoh D., Tanguay-Sela M., Perlman K., et al. Using a simulation centre to evaluate preliminary acceptability and impact of an artifi cial intelligence-powered clinical decision support system for depression treatment on the physician-patient interaction. BJPsych Open. 2021; 7 (1): e22. DOI: https://doi.org/10.1192/bjo.2020.127 59. Healthy.io Ltd. Increase ACR testing by up to 50%. URL: https://healthy.io/services/kidney/ (date of access August 5, 2024).
60. Zio by iRhythm Technologies, Inc. iRhythm gains FDA clearance for its clinically integrated ZEUS system. July 22, 2022. URL: https://www.irhythmtech.com/company/news/irhythm-gainsfda-clearance-for-its-clinically-integrated-ze... (date of access August 25, 2023).
61. Breitbart E.W., Choudhury K., Andersen A.D., et al. Improved patient satisfaction and diagnostic accuracy in skin diseases with a visual clinical decision support system-a feasibility study with general practitioners. PLoS One. 2020; 15 (7): e0235410. DOI: https://doi.org/10.1371/journal.pone.0235410
62. Kanagasingam Y., Xiao D., Vignarajan J., Preetham A., Tay-Kearney M.L., Mehrotra A. Evaluation of artifi cial intelligencebased grading of diabetic retinopathy in primary care. JAMA Netw Open. 2018; 1 (5): e182665. DOI: https://doi.org/10.1001/ jamanetworkopen.2018.2665
63. Long J., Yuan M.J., Poonawala R. An observational study to evaluate the usability and intent to adopt an artifi cial intelligencepowered medication reconciliation tool. Interact J Med Res. 2016; 5 (2): e14. DOI: https://doi.org/10.2196/ijmr.5462
64. Romero-Brufau S., Wyatt K.D., Boyum P., Mickelson M., Moore M., Cognetta-Rieke C. A lesson in implementation: a prepost study of providers’ experience with artifi cial intelligence-based clinical decision support. Int J Med Inform. 2020; 137: 104072. DOI: https://doi.org/10.1016/j.ijmedinf.2019.104072
65. Seol H.Y., Shrestha P., Muth J.F., et al. Artifi cial intelligenceassisted clinical decision support for childhood asthma management: a randomized clinical trial. PLoS One. 2021; 16 (8): e0255261. DOI: https://doi.org/10.1371/journal.pone.0255261
66. Frontoni E., Romeo L., Bernardini M., et al. A decision support system for diabetes chronic care models based on general practitioner engagement and EHR data sharing. IEEE J Transl Eng
Health Med. 2020; 8: 3000112. DOI: https://doi.org/10.1109/JTEHM.2020.3031107
67. Escalé-Besa A., Yélamos O., Vidal-Alaball J., et al. Exploring the potential of artifi cial intelligence in improving skin lesion diagnosis in primary care. Sci Rep. 2023; 13 (1): 4293. DOI: https:// doi.org/10.1038/s41598-023-31340-1
68. VivaQuant. Introducing the world’s smallest one-piece MCT: RX-1 mini. URL: https://rhythmexpressecg.com/ (date of access August 5, 2024).
69. Kaia Health. Digitale therapien bei COPD und rückenschmerzen. URL: https://kaiahealth.de/ (date of access June 29, 2022).
70. Zuckerman D., Brown P., Das A. Lack of publicly available scientifi c evidence on the safety and effectiveness of implanted medical devices. JAMA Intern Med. 2014; 174 (11): 1781–7. DOI: https://doi.org/10.1001/jamainternmed.2014.4193
71. Andaur Navarro C.L., Damen J.A.A., van Smeden M., et al. Systematic review identifi es the design and methodological conduct of studies on machine learning-based prediction models.
J Clin Epidemiol. 2023; 154: 8–22. DOI: https://doi.org/10.1016/j.jclinepi.2022.11.015
72. Lu J.H., Callahan A., Patel B.S., et al. Assessment of adherence to reporting guidelines by commonly used clinical prediction models from a single vendor: a systematic review. JAMA Netw Open. 2022; 5 (8): e2227779. DOI: https://doi.org/10.1001/ jamanetworkopen.2022.27779
73. Lin S.Y., Mahoney M.R., Sinsky C.A. Ten ways artifi cial intelligence will transform primary care. J Gen Intern Med. 2019; 34 (8): 1626–30. DOI: https://doi.org/10.1007/s11606-019-05035-1
74. Gerke S., Minssen T., Cohen G. Ethical and legal challenges of artifi cial intelligence-driven healthcare. In: Artifi cial Intelligence in
Healthcare. 2020: 295–336. DOI: https://doi.org/10.1016/B978-0-12-818438-7.00012-5
75. Fraser A.G., Nelissen R.G.H.H., Kjaersgaard-Andersen P., Szymański P., Melvin T., Piscoi P.; CORE-MD Investigators. Improved clinical investigation and evaluation of high-risk medical devices: the rationale and objectives of CORE-MD (Coordinating Research and Evidence for Medical Devices). EFORT Open Rev. 2021; 6 (10): 839–49. DOI: https://doi.org/10.1302/2058-5241.6.210081
76. US Food and Drug Administration. Fostering transparency to improve public health. URL: https://www.fda.gov/news-events/ speeches-fda-offi cials/fostering-transparency-improve-public-health (date of access May 15, 2023).
77. US Food and Drug Administration. Public access to results of FDA-funded research. URL: https://www.fda.gov/scienceresearch/about-science-research-fda/public-access-results-fdafunded-scien... c-research (date of access August 8, 2024).
78. Wu E., Wu K., Daneshjou R., Ouyang D., Ho D.E., Zou J. How medical AI devices are evaluated: limitations and recommendations from an analysis of FDA approvals. Nat Med. 2021; 27 (4): 582–4. DOI: https://doi.org/10.1038/s41591- 021-01312-x
79. MDR-Eudamed. Welcome to EUDAMED. URL: https://webgate.ec.europa.eu/eudamed/landing-page#/ (date of access September 7, 2023).
80. Gasser U. An EU landmark for AI governance. Science. 2023; 380 (6651): 1203. DOI: https://doi.org/10.1126/science. adj1627
81. Markus A.F., Kors J.A., Rijnbeek P.R. The role of explainability in creating trustworthy artifi cial intelligence for health care: a comprehensive survey of the terminology, design choices, and evaluation strategies. J Biomed Inform. 2021; 113: 103655. DOI: https://doi.org/10.1016/j.jbi.2020.103655
82. Zerilli J., Bhatt U., Weller A. How transparency modulates trust in artifi cial intelligence. Patterns (N Y). 2022; 3 (4): 100455. DOI: https://doi.org/10.1016/j.patter.2022.100455
83. Kordzadeh N., Ghasemaghaei M. Algorithmic bias: review, synthesis, and future research directions. Eur J Inf Syst. 2022; 31 (3): 388–409. DOI: https://doi.org/10.1080/0960085X.2021.1927212
84. Smale N., Unsworth K., Denyer G., Barr D. A review of the history, advocacy and effi cacy of data management plans. Int J Digit Curation. 2020; 15 (1): 30–58. DOI: https://doi.org/10.2218/ijdc. v15i1.525
85. Michener W.K. Ten simple rules for creating a good data management plan. PLoS Comput Biol. 2015; 11 (10): e1004525. DOI: https://doi.org/10.1371/journal.pcbi.1004525
86. Williams M., Bagwell J., Nahm Zozus M. Data management plans: the missing perspective. J Biomed Inform. 2017; 71: 130–42. DOI: https://doi.org/10.1016/j.jbi.2017.05.004
87. Wilkinson M.D., Dumontier M., Aalbersberg I.J., et al. The FAIR Guiding Principles for scientifi c data management and stewardship. Sci Data. 2016; 3: 160018. DOI: https://doi.org/10.1038/sdata.2016.18
88. Kanza S., Knight N.J. Behind every great research project is great data management. BMC Res Notes. 2022; 15 (1): 20. DOI: https://doi.org/10.1186/s13104-022-05908-5
89. European Commission. H2020 Programme Guidelines on FAIR Data Management in Horizon 2020. 2016. URL: https:// ec.europa.eu/research/participants/data/ref/h2020/grants_ manual/hi/oa_pilot/h2020-hi-oa-data-mgt_en.pdf (date of access March 20, 2023).
90. Matheny M., Israni S.T., Ahmed M., Whicher D. (eds). Artifi cial Intelligence in Health Care: The Hope, the Hype, the Promise, the Peril. The National Academies Press, 2019. DOI: https://doi. org/10.17226/27111
91. Terry A.L., Kueper J.K., Beleno R., et al. Is primary health care ready for artifi cial intelligence? What do primary health care stakeholders say? BMC Med Inform Decis Mak. 2022; 22 (1): 237. DOI: https://doi.org/10.1186/s12911-022-01984-6
92. Morrison A., Polisena J., Husereau D., et al. The effect of English-language restriction on systematic review- based metaanalyses: a systematic review of empirical studies. Int J Technol Assess Health Care. 2012; 28 (2): 138–44. DOI: https://doi. org/10.1017/S0266462312000086
93. Collins G.S., Moons K.G.M. Reporting of artifi cial intelligence prediction models. Lancet. 2019; 393 (10 181): 1577–9. DOI: https://doi.org/10.1016/S0140-6736(19)30037-6
94. Vasey B., Nagendran M., Campbell B., et al.; DECIDEAI Expert Group. Reporting guideline for the early-stage clinical evaluation of decision support systems driven by artifi cial intelligence: DECIDE-AI. BMJ. 2022; 377: e070904. DOI: https://doi. org/10.1136/bmj-2022-070904
95. Liu X., Cruz Rivera S., Moher D., Calvert M.J., Denniston A.K.; SPIRIT-AI and CONSORT-AI Working Group. Reporting guidelines for clinical trial reports for interventions involving artifi cial intelligence: the CONSORT-AI extension. BMJ. 2020; 370: m3164. DOI: https:// doi.org/10.1136/bmj.m3164
96. Eldridge S.M., Chan C.L., Campbell M.J., et al.; PAFS Consensus Group. CONSORT 2010 statement: extension to randomised pilot and feasibility trials. BMJ. 2016; 355: i5239. DOI: https://doi.org/10.1136/bmj.i5239
97. Collins G.S., Dhiman P., Andaur Navarro C.L., et al. Protocol for development of a reporting guideline (TRIPOD-AI) and risk of bias tool (PROBAST-AI) for diagnostic and prognostic prediction model studies based on artificial intelligence. BMJ Open. 2021; 11 (7): e048008. DOI: https://doi.org/10.1136/bmjopen-2020-048008