На факультете ВМК МГУ имени М.В. Ломоносова провели исследование, посвященное интерпретации работы нейросетевых моделей с помощью методов анализа чувствительности. Результаты были представлены в рамках конференции «Ломоносовские чтения», проходившей в МГУ весной 2025 года.
Современные нейросетевые модели нередко воспринимаются как «черные ящики», чьи решения сложно объяснить. Это особенно важно в медицине и других критически значимых областях, где необходимо не только высокое качество предсказаний, но и прозрачность в логике работы алгоритма. Авторы работы предложили использовать методы анализа чувствительности, чтобы выяснить, какие входные параметры оказывают наибольшее влияние на результат нейросети.
Для начала исследователи применили метод глобального анализа чувствительности Соболя к небольшой полносвязной нейросети, обученной на клинических табличных данных по сахарному диабету. Метод позволил выявить четыре наиболее значимых параметра, определяющих результат классификации. Эти выводы оказались согласованными результатами, полученными с помощью метода главных компонент, но анализ чувствительности дал более четкую картину значимости признаков. В результате без существенной потери итоговой точности авторы обучили еще более простую нейронную сеть, используя лишь четыре ведущих параметра.
«Методы анализа чувствительности дают важную информацию о том, насколько устойчиво работает модель и какие именно входные данные на нее влияют. Мы надеемся, что это может быть полезно для построения надежных моделей в медицине и биоинформатике», — прокомментировал доцент кафедры вычислительных технологий и моделирования ВМК МГУ Сергей Матвеев.
Далее исследование было расширено на сверточные нейросети, такие как VGG-16 и ResNet-18, применяемые для обработки изображений. Из-за большого числа входных переменных (даже в сравнительно небольших изображениях CIFAR-10 — 3072 пикселя) глобальный анализ оказался невозможен, и команда применила локальные методы: тепловые карты и технику максимизации активации. Результаты показали, что сеть VGG-16 хорошо распознает контуры объектов, а наличие остаточных связей в ResNet-18 помогает сохранять чувствительность даже на глубоких слоях. Хотя эти свойства хорошо известны в профессиональном сообществе, исследование позволило провести их наглядную визуальную демонстрацию.
Особое внимание было уделено применению нейросетей в медицине. Ранее другими исследователями модель VGG-16 была использована для классификации ультразвуковых изображений легких и смогла успешно различать COVID-19, бактериальную пневмонию и здоровые ткани. В результате нового исследования с помощью метода максимизации активации и технологии GradCam авторам из МГУ удалось продемонстрировать паттерны, влияющие на работу обученной нейросетевой модели при классификации. При сравнении этих техник авторы сделали вывод, что метод максимизации активации позволяет лучше локализовать зоны на снимке, «влияющие» на итоговый результат работы классификатора.
Работа демонстрирует потенциал применения анализа чувствительности для повышения надежности и прозрачности решений, принимаемых нейросетями, особенно в клинических задачах.
Расширенный препринт работы доступен на сайте arxiv.
Источник информации: факультет ВМК МГУ имени М.В. Ломоносова
Источник фото: ru.123rf.com
