Высшая школа организации и управления здравоохранением
Исследование: фиксация расхождений между врачом и ИИ сделает их взаимодействие прозрачным и морально ответственным
Исследователи из ряда университетов США предложили концепцию видимости расхождений (divergence visibility) в клиническом взаимодействии человека и искусственного интеллекта. Смысл идеи заключается в том, что при расхождении вывода алгоритма и суждения врача современные интерфейсы фиксируют только итоговое решение, теряя информацию о самом процессе взаимодействия. Авторы предлагают создать отдельный учет этого взаимодействия – запись, которую не может предоставить ни модель, ни врач по отдельности.
Такой учет должен отражать три ключевые оси: структурную (что рабочий процесс и интерфейс позволяют врачу видеть и делать), информационную (какие данные привнесла каждая сторона) и поведенческую (как врач взаимодействовал с логикой ИИ, а не только с его итоговым выводом), следует из результатов исследования, опубликованного в журнале Digital Medicine.
Как считают ученые, расхождение, может возникать из-за асимметрии информации, подлинного разногласия на основе одних данных или ошибки одной из сторон. Они намеренно используют термин «расхождение», а не «разногласие», поскольку при асимметрии информации привлечение третьего мнения не решает корневую проблему.
В клинических условиях это усугубляется необходимостью принимать решение в реальном времени и с рисками для безопасности пациентов. Исследование показало, что врачи асимметрично принимали 58% вредных рекомендаций системы и лишь 22% полезных. Даже формально обученные оценке ИИ врачи снижали диагностическую точность на 14%, когда могли консультироваться с большими языковыми моделями (LLM).
Исследователи отмечают, что фиксация расхождений позволит сделать взаимодействие человека и ИИ более прозрачным, лучше обосновать моральную ответственность и, возможно, снизить юридические риски. Они призывают переосмыслить расхождение как момент наивысшей ценности для клинического ИИ – точку, в которой видно, что именно привнесла каждая сторона и где можно учиться на различиях в рассуждениях, а не просто исправлять ошибку.
