Исследователи Центра ИИ МГУ приняли участие в проекте AIRI и НМИЦ им. В.А. Алмазова по созданию способа оценки диагностических ответов искусственного интеллекта, который учитывает различия во мнениях врачей. Подход позволяет сравнивать предположения языковых моделей с заключениями нескольких специалистов, принимая во внимание, насколько сами специалисты согласны друг с другом. Работа опубликована в журнале Scientific Reports в 2026 году.
Оценивать такие системы непросто: по одному и тому же описанию симптомов врачи могут предложить разные диагнозы. Если принять мнение одного специалиста за единственный правильный ответ, результат проверки ИИ будет зависеть от выбора этого специалиста. Дополнительную сложность создают различия в формулировках: совпадающие по смыслу диагностические предположения могут быть записаны разными словами.
Авторы разработали два относительных показателя. Они сопоставляют согласованность ответов модели и врачей с согласованностью врачебных заключений между собой. Отдельный алгоритм помогает определять, какие формулировки диагнозов следует считать совпадающими. Для этого он объединяет оценки языковых моделей, сведения из Международной классификации болезней и признаки сходства текстов.
Подход проверили на 360 русскоязычных диалогах, моделирующих сбор сведений о состоянии пациента. Половину разговоров разыгрывали медицинские специалисты, вторую половину составляли беседы актёров в роли пациентов с языковой моделью. Каждый диалог независимо оценивали семь врачей-ординаторов. Их заключения сопоставили с диагностическими предположениями восьми языковых моделей.
В этом эксперименте несколько моделей в среднем согласовывались с экспертами не хуже, чем эксперты друг с другом. Разброс показателей согласованности между врачами оказался выше, чем между большей частью моделей и врачами. Эти результаты показывают, почему при сравнении диагностических систем важно учитывать различия экспертных мнений. При этом согласованность ответов сама по себе не означает, что диагноз установлен правильно.
«Если врачи расходятся во мнениях, оценка ИИ по ответу одного специалиста может дать неполную картину. Мы предлагаем учитывать и ответы модели, и степень согласия между самими врачами. Это помогает понять, насколько выводы системы соответствуют экспертным оценкам. Однако такая проверка не заменяет оценку правильности диагнозов и безопасности применения системы в клинической практике», – отметил старший научный сотрудник Центра ИИ МГУ Петр Анохин.
Предложенный подход может использоваться при разработке и сравнении систем поддержки врачебных решений, которые анализируют текстовые диалоги и предлагают возможные диагнозы. Пока он проверен на смоделированных разговорах на русском языке. Для других языков, видов медицинских данных и условий применения необходимы дополнительные исследования.
Информация предоставлена пресс-службой МГУ
Источник фото: 123rf.com
