Исследователи факультета вычислительной математики и кибернетики МГУ совместно с коллегами из Геологического института РАН предложили подход к расширению обучающих наборов данных для семантической сегментации минералов на микрофотографиях аншлифов. Метод автоматически выявляет области изображения, в которых модель демонстрирует повышенную эпистемическую неопределенность, и тем самым позволяет направлять работу эксперта на наиболее информативные фрагменты вместо повторной разметки всего изображения. Результаты работы, подержанной Российским научным фондом, опубликованы в The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences.
Автоматическая сегментация минералов важна для задач петролого-минералогического анализа и ускорения интерпретации данных. Вместе с тем качество предсказаний нейросетей может заметно снижаться при переносе на изображения, полученные на другом оборудовании или при иных условиях освещения и цветопередачи. В таких ситуациях обычно необходима доразметка данных, которая является трудоемкой и требует участия высококвалифицированных специалистов-геологов.
В предложенном подходе используется гиперболическое активное обучение (HALO) для построения карты неопределенности по всему изображению. Для каждого пикселя вычисляется «гиперболический радиус» в пространстве Пуанкаре как мера эпистемической неопределенности: более высокие значения соответствуют областям, где модель менее уверена в предсказании. На практике это визуализируется в виде тепловой карты, по которой можно выделять зоны, требующие дополнительной разметки.
«Гиперболическая оценка неопределенности позволяет целенаправленно доразмечать именно те фрагменты аншлифов, на которых модель теряет качество при смене условий съемки. Это более эффективная стратегия, чем наращивание датасета “вслепую”», — поясняет Александр Хвостиков, старший научный сотрудник лаборатории математических методов обработки изображений факультета ВМК МГУ.
Метод оценивался на датасете LumenStone S1v2. Для моделирования эффектов доменного сдвига авторы сформировали серии искусственных цвето-яркостных искажений («blue», «pink», «yellow») с постепенным усилением и проверили поведение двух архитектур сегментации — ResUnet и модифицированной PSPNet. Показано, что карты гиперболического радиуса коррелируют с картами ошибок модели и могут использоваться для выявления проблемных областей, требующих разметки. Дополнительно проведено сравнение с альтернативными мерами неопределенности (энтропия предсказаний, margin sampling и произведение энтропии на гиперболический радиус); в экспериментах гиперболический радиус демонстрировал конкурентоспособные, а в ряде случаев — лучшие результаты.
Предложенное использование карт неопределенности позволяет значительно снизить объем ручной разметки за счет приоритизации наиболее информативных зон. В дальнейших работах авторы планируют развивать полный пайплайн разметки микроскопических изображений аншлифов, включая предварительную цветокоррекцию изображений и интеграцию подхода в открытый Python-пакет petroscope.
Информация предоставлена пресс-службой МГУ
Источник фото: ru.123rf.com
