Материалы портала «Научная Россия»

Новый алгоритм создает видео из текста

Новый алгоритм создает видео из текста
На основе короткого скрипта система, созданная американскими учеными, сама создает видеоролик.

Система машинного обучения, созданная американскими учеными, сама создает видеоролики на основе скрипта — короткого текстового описания. Подобная техника может однажды найти применение, например, в раскрытии преступлений, помогая свидетелю восстановить увиденное. Доклад о разработке был представлен на собрании Ассоциации содействия развитию искусственного интеллекта в Новом Орлеане, кратко его тезисы пересказывает сайт журнала Science, работу можно прочитать на сайте Ассоциации развития искусственного интеллекта.

В работе нейросети фактически имитируется процесс создания человеком видеоролика. На первом этапе в том или ином виде существует текст, передающий суть, а на втором появляется видеокартинка. Нейросеть тренировали на парах соответствий текст-видео: например, показывали, как выглядит «парусник, плывущий в море».

Всего исследователи обучили алгоритм на различение 10 типов сцен, включая «поиграть в гольф в бассейне» и «кайтсерфинг на море». Сеть научилась определять соответствующее описанию видео, а потом и генерировать соответствующее. Она также оказалась способна генерировать видео на бессмысленные действия, такие как «плавание на снегу» и «играть в гольф в бассейне».

Видео, создаваемое нейросетью, на данный момент длится лишь 32 кадра, приблизительно 1 секунду, и размером с почтовую марку, 64 на 64 пикселей. Но дальнейшее совершенствование приведет к развитию технологи и применению во множестве сфер.

[Иллюстрация: ShareGrid/Unsplash]

видео искусственный интеллект

Назад

Социальные сети

Комментарии

Авторизуйтесь, чтобы оставить комментарий