Ученые МФТИ разработали метод, позволяющий большим языковым моделям анализировать происходящее на видео, отслеживать движение объектов и их взаимодействие и прогнозировать последующие действия. Технология даст возможность экономить вычислительные ресурсы и может быть востребована для анализа окружающей обстановки роботами. Результаты опубликованы в журнале Technologies.
Компьютеры, которые управляют современными роботами, зачастую ограничены вычислительными мощностями. Соответственно, необходимы алгоритмы, позволяющие эффективно обрабатывать входящую информацию, экономя при этом ресурсы. В частности, речь идет о видео с камер, которое позволяет оценивать окружающую ситуацию. Об исследовании корреспонденту «Научной России» рассказал автор метода кандидат технических наук Сергей Линок.
«Мы предложили алгоритм, который умеет эффективно сжимать видеоряд, сохраняя структурное представление того, что наблюдает робот. Особенность метода в том, что алгоритм преобразует видеоряд в граф событий, где вершины — это объекты, которые участвуют в наблюдаемой сцене, а ребра — взаимосвязи между объектами. Эти связи позволяют решать пространственные и временные задачи. Совместно с эффективным алгоритмом сжатия мы помогаем роботам представлять окружающую сцену и отвечать на вопросы о происходящем с помощью большой языковой модели», — рассказал Сергей Линок.
Ученые протестировали алгоритм на роботе Husky — это мобильная платформа с рукой манипулятором. Роботу ставились задачи на русском языке уровня «подъехать к столу и взять предмет» — машина выполняла их, анализируя входящее с камер видео в реальном времени: установленные на нем вычислительные мощности позволили обрабатывать один запрос в секунду, чего хватило для решения базовых задач. Эксперимент показал, что система справляется даже при наличии шумов и неточностей.
Эффективность метода проверялась на базах данных, которые используются для сравнения разных систем ИИ. В тестах с графовой разметкой STAR, анализируя ролики с бытовыми сценами, алгоритм корректно ответил на 99% вопросов о взаимодействии объектов и на 97% верно спрогнозировал следующее действие.
«В исследовании мы явно ощутили существующие ограничения, связанные с разметкой, с помощью которой обучается языковая модель. Если обычные языковые модели обучаются на текстовых данных, то нам нужны как текстовые, так и графовые представления. Это редкая разметка, мало представленная в открытом доступе: для ее получения требуется много ресурсов. Если преодолеть это ограничение и обучить нашу модель на большом количестве данных, она будет способна конкурировать с другими системами в реальных продуктах», — отметил Сергей Линок.
Новость подготовлена при поддержке Министерства науки и высшего образования РФ
