Исследование: врачи и ИИ по-разному оценили языковые модели в реальных клинических случаях

ФОТО: magnific.com/автор: freepik

Исследование, в котором приняли участие ученые из Китайского университета Гонконга, Имперского и Университетского колледжей Лондона, Пекинской больницы дружбы при Столичном медицинском университете и ряда других научных центров, показало, что автоматизированная оценка больших языковых моделей (LLM) в контексте клинических случаев не заменяет врачебную экспертизу. В работе, опубликованной в журнале Digital Medicine, в частности отмечается, что, несмотря на высокий уровень совпадения с мнением специалистов, алгоритмы ИИ не воспроизводят особенности клинического суждения.

Оценки ответов LLM 421 врача, представлявших семь медицинских специальностей, сравнили с результатами такого же числа ИИ-агентов, настроенных на аналогичные профили, что позволило оценить, насколько автоматизированная экспертиза соответствует мнению практикующих врачей.

Ученые использовали семь реальных обезличенных клинических случаев. Врачи и ИИ оценивали ответы пяти популярных языковых моделей – GPT-4o и OpenAI o1 от OpenAI, DeepSeek-R1 от DeepSeek, Qwen-Max от Alibaba Cloud и Claude 3.5 от Anthropic – по шести критериям, включая точность, полноту, логичность, полезность, безопасность и структуру ответа.

Результаты показали, что оценки врачей существенно различались в зависимости от клинического опыта и условий работы. Молодые и опытные специалисты по-разному ранжировали одни и те же модели, а предпочтения также менялись между врачами из разных регионов. При этом совпадение ранжирования между группами врачей с разным стажем составило лишь 3,3%, тогда как у ИИ-агентов этот показатель достигал 76,7% независимо от смоделированного уровня опыта. Это свидетельствует о том, что клиническая экспертиза не является однородной, а качество медицинских ИИ-систем нельзя объективно оценить, опираясь на мнение ограниченной группы экспертов.

ИИ-агенты продемонстрировали высокую согласованность с общими тенденциями человеческих оценок, однако систематически расходились с врачами при выборе лучших моделей. Так, нейросети практически во всех категориях отдавали предпочтение OpenAI o1, тогда как врачи чаще ставили выше GPT-4o и DeepSeek-R1.

Как считают исследователи, это показывает, что ИИ способен уловить общее распределение качества между моделями, но не воспроизводит более тонкие различия в клиническом суждении – например, связанные с опытом врача, практической средой и оценкой безопасности ответа в конкретном клиническом контексте. Вместе с тем такие агенты могут использоваться для предварительного отбора или первичного анализа результатов, снижая нагрузку на экспертов.