Ученые Центра ИИ МГУ создали новый метод анализа трехмерных сцен помещений. Новое исследование посвящено объединению признаков различных масштабов для более точного выделения объектов в пространственных данных. Результаты работы опубликованы в журнале Neurocomputing.
Анализ трёхмерных сцен является одной из важных задач компьютерного зрения. Он используется в робототехнике, системах автономной навигации, а также в технологиях дополненной и виртуальной реальности. Чтобы система могла взаимодействовать с окружающей средой, ей необходимо не только распознавать объекты, но и определять их точные границы в трёхмерном пространстве.
Современные методы сегментации трёхмерных сцен используют признаки различных масштабов. Одни признаки помогают определить тип объекта и его место в общей структуре сцены, другие содержат информацию о форме, размерах и деталях поверхности. Однако существующие подходы часто обрабатывают такие признаки независимо друг от друга, что ограничивает качество итогового результата.
Для решения этой проблемы исследователи разработали архитектуру HFF-BiG. Предложенный подход позволяет эффективнее объединять информацию различных уровней и учитывать взаимосвязь между семантическими признаками высокого уровня и геометрическими деталями объектов.
В основе метода лежит механизм двунаправленного управления потоками информации между различными уровнями представления данных. Кроме того, авторы использовали механизм внимания, который помогает системе точнее определять, какие элементы сцены необходимо учитывать при анализе конкретного объекта.
Метод был протестирован на международных наборах данных ScanNetV2, ScanNet200 и S3DIS, которые широко используются для оценки качества алгоритмов анализа трёхмерных сцен. Результаты показали, что предложенный подход демонстрирует результаты на уровне лучших современных методов сегментации, а по ряду показателей превосходит существующие решения. Кроме того, метод позволяет более точно выделять объекты и их границы в сложных сценах помещений.
«Признаки разных масштабов содержат различную информацию о сцене. Крупномасштабные признаки помогают определить семантический контекст объекта, а мелкомасштабные — описывают его геометрические особенности. Мы предложили механизм, который позволяет учитывать эту взаимосвязь и эффективнее объединять информацию разных уровней представления данных. Это позволило повысить качество сегментации трёхмерных сцен и точность выделения отдельных объектов», — отметил научный руководитель Центра ИИ МГУ Антон Конушин.
По словам авторов, предложенный подход может использоваться в робототехнике, системах автономной навигации, а также в технологиях дополненной и виртуальной реальности, где требуется точное понимание структуры окружающего пространства.
Информация предоставлена пресс-службой МГУ
Источник фото: ru.123rf.com
