Исследование: эмпатичный ИИ может снижать точность в медицинских ответах

Фото: magnific.com /автор: freepik

Журнал Nature опубликовал результаты исследования, согласно которому настройка моделей на базе искусственного интеллекта (ИИ) на более «дружелюбный» и эмпатичный стиль общения, широко используемая в консультационных центрах и сервисах поддержки, может снижать точность ответов.

Ученые из Оксфордского института интернета (Великобритания) и ряда международных исследовательских центров проанализировали более 400 тысяч ответов пяти больших языковых моделей, включая Llama от Meta* (США), Mistral-Small от Mistral (Франция), Qwen от Alibaba (Китай) и GPT-4o от OpenAI (США), которые дополнительно обучили генерировать более «теплые» и эмпатичные ответы. Модели оценивались на задачах с объективно проверяемыми результатами, включая вопросы по медицине, фактологии и дезинформации. Выяснилось, что у исходных моделей уровень ошибок составлял от 4% до 35% в зависимости от задачи, тогда как у «дружелюбных» версий он заметно выше – примерно от 11% до 42%, а в отдельных сценариях мог достигать 65%.

Также исследователи оценили склонность моделей к подтверждению пользовательских убеждений. Оказалось, что версии с повышенной эмпатичностью примерно на 40% чаще соглашались с заведомо неверными утверждениями и реже им противоречили. Этот эффект усиливался, если пользователь формулировал запрос с эмоциональной окраской, например, выражал тревогу или грусть.

Анализ также свидетельствует, что снижение точности носит выборочный характер: базовые способности моделей и результаты стандартных тестов в целом сохраняются. Это указывает на то, что проблема может не выявляться при традиционной оценке качества и проявляется преимущественно в реальных диалоговых сценариях.

Авторы считают, что наблюдаемый эффект отражает компромисс между «дружелюбием» и достоверностью, аналогичный человеческому поведению. По мере расширения использования ИИ в чувствительных сценариях – от медицины до психологической поддержки – учет этого баланса становится критически важным, а подходы к тестированию и настройке моделей требуют пересмотра. Тем более, что распространение ИИ в здравоохранении быстро растет и усиливает значимость подобных рисков. Например, по данным опроса West Health-Gallup, около 66 млн американцев уже используют ИИ для получения медицинской информации, а каждый четвертый взрослый обращается к таким инструментам за советами по вопросам физического и психического здоровья.

* Meta признана экстремистской организацией и запрещена в России.