Ученые создали искусственный интеллект для автоматической классификации движений смычка скрипки по жестам исполнителя, - пишет eurekalert.org со ссылкой на Frontiers in Psychology.
При воспроизведении музыки жесты чрезвычайно важны, отчасти потому, что они напрямую связаны со звуком и выразительностью музыкантов. Сегодня существует технология, которая фиксирует движение и способна очень точно определять даже мелкие жесты. В исследовании сотрудники Лаборатории машинного обучения и музыки Группы музыкальных технологий Департамента информационных и коммуникационных технологий Университета Помпеу Фабра использовали искусственный интеллект для автоматической классификации движений смычка скрипки по движениям исполнителя.
«Мы записали движение и аудиоданные, соответствующие семи репрезентативным техникам ведения смычка (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato и Bariolage) в исполнении профессионального скрипача. Мы получили информацию об инерционном движении правого предплечья и синхронизировали его с аудиозаписью», - объясняют авторы исследования Дэвид Далмаццо и Рафаэль Рамирес. Система идентифицировала движения скрипача с точностью до 94%.
Данные, использованные в этом исследовании, общедоступны в онлайн-хранилище. Полученные результаты позволяют применять этот метод в практическом обучении, когда учащиеся игре на скрипке могут извлечь пользу из обратной связи, предоставленной системой в режиме реального времени.
Это исследование было проведено в рамках проекта TELMI (Технология повышения эффективности обучения музыкальным инструментам). Его цель состоит в том, чтобы исследовать, как технологии (датчики, мультимодальные данные, искусственный интеллект и компьютерные системы) могут улучшить практику изучения музыки, помогая в овладении новыми музыкальными навыками.
С использованием скрипки в качестве примера, одной из основных
целей проекта является предоставление учащимся обратной связи в
реальном времени, а также сравнение их выступлений с результатами
ведущих экспертов. «Наши результаты уже обобщены для других
музыкальных инструментов и применяются в музыкальной
образовательной среде», - добавляет Рафаэль Рамирес.
[Фото: eurekalert.org]
