Ученые Центра искусственного интеллекта МГУ с коллегами из лаборатории компьютерной графики и мультимедиа факультета ВМК МГУ и Института искусственного интеллекта МГУ разработали платформу для оценки устойчивости алгоритмов детекции синтетических изображений, называемых часто дипфейками, к распространенным методам маскировки дипфейков, таким как сильное сжатие и т.п. Проект реализуется в рамках набора соревнований NTIRE (New Trends in Image Restoration and Enhancement) на конференции CVPR, мирового лидера по impact factor среди конференций и журналов.
Задача проекта заключается в проверке способности алгоритмов детекции сохранять точность после распространения изображений в социальных сетях. В реальных сценариях изображения подвергаются сжатию, в том числе повторному, обрезке, адаптации цвета, контраста, резкости и другим преобразованиям, что снижает эффективность моделей в реальном мире по сравнению с лабораторными условиями тестирования.
Для проведения оценки сформирован набор данных, включающий изображения, созданные 42 различными генеративными моделями. При тестировании применяется 18 типов цифровых преобразований, включая алгоритмы сжатия JPEG 2000 и JPEG AI. Итоговый рейтинг формируется по результатам после применения этих искажений, что позволяет оценивать устойчивость алгоритмов к изменениям данных и устойчивость каждого отдельного детектора к каждому преобразованию.
«В лабораторных условиях детекторы демонстрируют высокую точность, однако при многократной пересылке изображений в соцсетях, мессенджерах, СМИ их часто пережимают до полного замыливания. Наше соревнование было ориентировано, в первую очередь, на такие сложные случаи, включая такие нетривиальные и новые, как сжатие по стандарту JPEG AI, который был принят только в сентябре прошлого года», — отметил Дмитрий Ватолин, старший научный сотрудник Центра искусственного интеллекта МГУ, руководитель лаборатории «Интеллектуальный анализ видео» Института искусственного интеллекта МГУ.
«Возможность генерации изображений открывает новые горизонты для технологий, однако в ряде задач принципиально важно уметь отличать синтетический контент от реального. Для этого необходимы как надежные методы оценки качества работы алгоритмов, так и репрезентативные датасеты для их обучения. Именно поэтому мы поддерживаем коллег из МГУ в организации международного челленджа и высоко оцениваем достигнутые результаты», — отметил Александр Крайнов, директор по развитию технологий искусственного интеллекта в Яндексе.
В рамках соревнования опубликован усложненный набор данных (Hard Validation), предназначенный для проверки способности моделей к генерализации и снижения риска переобучения под конкретный тестовый набор. Также ограничено количество ежедневных отправок решений для повышения объективности финальной оценки.
В конкурсе приняли участие более 500 команд со всего мира, общее количество отправленных решений превышает 3400. Наборы данных размещены на международной исследовательской платформе HuggingFace (deepfakesMSU). Первые два места заняли команды Ant Group (Китай), третье ChinaTelecom (Китай), четвертое — INTSIG Information Co (Китай, авторы известной программы CamScanner), пятое — в одиночку молодой аспирант (Китай), шестое — команда University of Electronic Science and Technology of China (Китай) и, наконец, седьмое — команда Reagvis Labs (Индия).
Работа выполнена с использованием суперкомпьютера МГУ-270. Результаты соревнования будут представлены в статье на CVPR, посвященной сравнительной оценке устойчивости алгоритмов детекции дипфейков к различным типам цифровых преобразований. Существенно более крупный датасет, позволяющий тренировать и тестировать детекторы дипфейков, претендующий на первое место в мире среди всех доступных датасетов, уже также собран и будет опубликован до конца этого года.
Информация предоставлена пресс-службой МГУ
Источник фото: ru.123rf.com
