Исследование: ИИ уязвим к ошибкам в больничных документах

ФОТО: Designed by freepik

Масштабное тестирование медицинских систем искусственного интеллекта (ИИ) позволило выявить их устойчивую уязвимость к дезинформации. Исследование, проведенное учеными из Медицинской школы Икана при медцентре Маунт-Синай (США), показало, что модели чаще принимают ложные медицинские рекомендации за достоверные, если они изложены в формальном клиническом стиле. Статья опубликована в журнале The Lancet Digital Health.

В исследовании протестировано 20 открытых и коммерческих больших языковых моделей, а также ряд медицинских версий, дообученных под клинические задачи. Им предлагались три типа контента: реальные больничные выписки с одной намеренно вставленной ложной рекомендацией, распространенные медицинские мифы из социальных сетей и 300 клинических сценариев, подготовленных врачами. Всего было проанализировано более 1 млн ответов на пользовательские запросы. В среднем модели транслировали недостоверную информацию примерно в 32% случаев.

Наибольшая уязвимость выявлена при работе с материалами, оформленными как медицинская документация. Если ложная рекомендация содержалась в правдоподобной выписке из стационара, вероятность ее воспроизведения возрастала почти до 47%. В случае публикаций из социальных сетей этот показатель снижался до 9%. В наборе смоделированных клинических сценариев, подготовленных врачами, уровень принятия фабрикаций составил 5,1%. Авторы отмечают, что модели в большей степени ориентируются на уверенный и официальный стиль изложения, чем на фактическую корректность утверждений.

Как считают исследователи, дополнительным фактором риска стала формулировка запроса. Они протестировали 10 типов риторических конструкций – в частности, ссылки на мнение большинства, на авторитет эксперта и утверждения о неизбежных негативных последствиях. Так, если пользователь представлялся старшим клиницистом или сопровождал утверждение ссылкой на опытного специалиста, доля принятия ложной информации ИИ возрастала до 34,6%.

Ученые в публикации отмечают, что по мере расширения применения ИИ – от цифровых сервисов для пациентов до автоматизации клинической документации и поддержки врачебных решений – отсутствие встроенных механизмов проверки медицинских утверждений становится системным риском. По их оценке, без дополнительной валидации и контроля такие модели могут масштабировать ошибки вместе с расширением применения цифровых решений в здравоохранении.