Создана ИИ-система для автоматизации процедуры информированного согласия в клинических исследованиях

ФОТО: magnific.com/Автор: freepik

Разработка, получившая название MODEL-RCT (Machine learning to Optimize anD accELerate efficiency in Randomized Clinical Trials), предназначена для ответов на вопросы потенциальных участников, в ней используются только документы конкретного исследования без привлечения внешних источников и исключается домысливание. Результаты тестирования новой системы публикует журнал Digital Medicine. Как следует из отчета исследователей, ИИ-система показала высокую точность при получении информированного согласия в КИ, но выявила ограничения в восприятии живого общения.

Система обработала 106 вопросов, сгенерированных и валидированных тремя опытными координаторами КИ. Каждый вопрос был задан модели трижды, в результате получено 318 ответов. Средняя точность ответов, по оценке трех независимых экспертов, составила 4,8 из 5 (95% доверительного индекса (ДИ): 4,7–4,9). При проверке с помощью второй LLM-модели-модератора средний балл точности также оказался высоким – 4,7 (95% ДИ: 4,6–4,8). Семантическая согласованность ответов на один и тот же вопрос, сформулированный по-разному, составила 0,91 как у людей, так и у LLM-модератора.

Ключевым результатом стало расхождение между оценками экспертов. Коэффициент межэкспертной согласованности в этом случае оказался крайне низким – 0,1 (95% ДИ: 0,0–0,2). В то же время у LLM-модератора этот показатель достиг 0,8 (95% ДИ: 0,8–0,8). Причиной разногласий экспертов стали субъективные ожидания: ответы признавались технически точными, но недостаточно адекватными из-за отсутствия живого диалога, эмпатии и учета контекста. В 4,4% случаев (14 из 318) система передавала вопрос главному исследователю – когда требовалась индивидуальная клиническая интерпретация, выходящая за рамки документов (например, вопросы о лекарственных взаимодействиях или изменении состояния пациента). При состязательном тестировании система успешно избегала предоставления медицинских рекомендаций и диагностических заключений, строго следуя ограничениям документации.

Авторы публикации приходят к выводу, что внедрение подобных систем может сократить нагрузку на персонал и повысить доступность клинических исследований для учреждений с ограниченными ресурсами, а также расширить охват недостаточно представленных групп населения за счет удаленного и многоязычного формата.