Фото: DC Studio / Freepik
Ученые МФТИ создали эталонную программу (бенчмарк) для калибровки систем распознавания жестов, которая ускорит появление умных протезов, гаджетов виртуальной реальности и аппаратов «безмолвной речи». Работа опубликована в сборнике 2026 28th International Conference on Digital Signal Processing and its Applications (DSPA).
Специалисты протестировали более 10 популярных ИИ-моделей на основе электромиографии (ЭМГ) — регистрации электрических сигналов мышц. Без предварительной настройки ни одна нейросеть не смогла точно распознать жесты незнакомого человека, показав максимальную точность всего в 35%. Главной преградой стала уникальность «мышечного почерка» каждого человека. На ЭМГ-сигнал сильно влияют индивидуальные факторы: пол, наличие или отсутствие усталости, температура и др.
Один из разработчиков программы студент 6-го курса МФТИ Кирилл Сергеевич Головань пояснил, что хоть ЭМГ-датчики работают в темноте и под одеждой, улавливая малейшие движения, для массового применения нужны специальные адаптивные алгоритмы. Решением может стать комбинация базовых нейросетей с быстрой мини-калибровкой, которая за пару секунд подстраивается под конкретного пользователя.
Технология найдет применение в VR/AR-индустрии, управлении роботами и медицине (например, для реабилитации после инсультов). Также ученые работают над созданием систем «безмолвной речи», считывающих движения мышц лица и шеи для их перевода в слова.
Подробнее о новой программе Кирилл Сергеевич Головань рассказал корреспонденту «Научной России».
«Мы разработали так называемый бенчмарк, который позволяет оценивать методы в задаче распознавания жестов по поверхностной электромиографии. Сейчас большинство методов проверяются разрозненно, без единого протокола: исследователи берут собственные данные, не регламентируют строго процесс, не выкладывают исходные коды, из-за чего их результаты сложно повторить. Мы закрываем проблему воспроизводимости экспериментов и публикуем в открытом доступе все наши разработки в плане архитектур и строгого, пошагового протокола тестирования. В качестве источника открытых данных используется датасет NinaPro, нацеленный на протезирование. В нашей работе акцент сделан на строгую проверку без адаптации под конкретного пользователя (протокол LOSO): модель обучается на одних людях и переносится на того, кого она никогда не «видела». Концептуально это выглядит так: человек берет эти правила, проверяет свой метод и получает набор метрик, который позволяет честно сравниться с нашими результатами. Разработка предназначена для ученых и инженеров, чтобы они могли координировать свои данные. Мы уже задали этот эталон и стандарт сравнения, а сейчас применяем новые методики, превосходящие прежние результаты по точности».
Новость подготовлена при поддержке Министерства науки и высшего образования РФ
Фото в шапке текста: DC Studio / Freepik. Фото на заставке видео: Яна Серебренникова
