Виртуальные тренировки для будущих авиаконструкторов. Интервью с доцентом КНИТУ — КАИ Михаилом Медведевым

Виртуальная реальность открывает новые возможности в подготовке профессионалов — особенно тех, чья стезя тесно связана с ручной работой, например сборкой сложной техники. Тренировки в цифровом мире позволяют студентам оттачивать навыки, совершая ошибки без ущерба для реальных расходных материалов. Две такие виртуальные лабораторные работы для будущих авиаконструкторов созданы в Казанском национальном исследовательском техническом университете им. А.Н. Туполева — КАИ. Об этих проектах и разработках вуза в области дополненной реальности рассказывает доцент кафедры автоматизированных систем обработки информации и управления КНИТУ — КАИ Михаил Викторович Медведев.

— На базе вашей кафедры и кафедры производства летательных аппаратов вуза с участием студентов разработаны две программы для лабораторных занятий в виртуальной реальности, предназначенные для подготовки учащихся к работе в авиационной отрасли. Расскажите, чему посвящена каждая из них.

— Эти лабораторные работы идут в комплексе. Первая посвящена сборке деталей обшивки летательного аппарата. Виртуальное пространство выглядит следующим образом: перед студентом стоят специальная установка и стол, на котором лежат нервюры (собственно комплектующие обшивки). Учащийся должен подойти к столу, взять детали и разместить их в установке. Нужная последовательность действий описана на виртуальной меловой доске. Если студент все выполняет правильно, то напротив соответствующих пунктов ставятся галочки. Если порядок действий неважен, учащийся может выполнять этапы произвольно, если же определенная последовательность критична, то система не даст студенту выполнить следующее действие до тех пор, пока он не справится с предыдущим.

Далее детали нужно закрепить с помощью специальных штифтов. Затем требуется просверлить отверстия в получившейся конструкции: для этого студент должен подойти к виртуальному ящику с инструментами и взять из него дрель. Процесс сверления смоделирован таким образом, что учащийся видит свой прогресс на специальном индикаторе. Если он сверлит неровно, результат сбрасывается: таким образом программа стимулирует выполнять работу аккуратно. Далее необходимо взять специальный инструмент и проставить клепки. После этого деталь будет готова.

Вторая лабораторная работа посвящена пропитке изделия при помощи инжекционной машины. В этом виртуальном пространстве смоделирован специальный термопресс, у него поднимается крышка, и внутрь аппарата нужно поместить деталь. Она представляет собой мягкую субстанцию, и ее нужно правильно расположить и разровнять. Этот процесс было очень интересно моделировать во время программирования. Еще один примечательный момент в создании симуляции был связан с имитацией протирания поверхности перед размещением детали.

Далее студент закрывает термопресс и подсоединяет инжекционную машину к определенным штуцерам (деталям для подключения устройства к той или иной системе. — Примеч. корр.) при помощи шлангов. Пожалуй, это была одна из самых неординарных задач, потому что оказалось довольно непросто сымитировать реалистичное поведение шланга в виртуальном мире. По нашим подсчетам, на эту работу (параллельно с другими задачами) мы затратили около двух месяцев. Ребята предлагали разные решения: у кого шланг крутится лучше. Нужно было сделать так, чтобы он правильно изгибался не только при подключении, но и непосредственно в процессе работы.

После подсоединения шлангов учащийся берет емкость, наполняет ее специальным связующим веществом и заливает его в машину. Это была задача из области динамики жидкостей — работа с программируемой системой частиц.

Далее студент задает температурный режим на механическом интерфейсе с кнопками и запускает процесс пропитки детали. В это время, как и в реальности, виртуальный термопресс нельзя открыть. После завершения работы аппарат открывается и учащийся извлекает готовую деталь.

— Созданные в вашем университете виртуальные лаборатории максимально приближены по условиям к цехам реальных заводов. Симуляция только визуальная или в ней также присутствует звук? Используются ли контроллеры?

— Звуковая симуляция не входила в число поставленных задач, поскольку это не играет существенной роли при сборке. Мы старались достоверно сымитировать само пространство заводских цехов — вплоть до несколько тусклого освещения. Когда мы представили первоначальную версию виртуальной лаборатории, нас попросили немного изменить ее с учетом реалистичного расположения окон, падения солнечных лучей и т.д. В результате мы смоделировали довольно большой ангар, чтобы студент мог перемещаться по нему и искать нужные предметы в разных местах.

С контроллером, конечно, было проделано довольно много работы, поскольку он используется для управления движениями рук в виртуальной реальности: с его помощью студент берет детали, поворачивает их, просверливает отверстия и т.п.

— Одна из важных черт созданных в вашем университете виртуальных лабораторий — многопользовательский режим, когда участники занятия могут видеть аватары друг друга в виртуальном пространстве. Насколько труднее было создавать такую систему в сравнении с режимом одного пользователя и в чем заключались эти сложности?

— На мой взгляд, это была задача совершенно особого рода в сравнении с остальными. Дело в том, что при программировании основных действий лабораторной работы мы в основном сотрудничали с физиками, например специалистами по механике твердых тел. В то же время создание многопользовательского режима — это чистое программирование, с которым наш коллектив как раз больше привык работать. Сюда относятся вопросы соединения по сети, отображения картинки, передачи значений различных переменных параметров и т.д.

Сложностей было немало. Над этой задачей мы тоже работали довольно долго и порой приходили к весьма интересным промежуточным результатам. Нужно было реалистично смоделировать не только перемещение аватара, но и его поведение — например, сгибание рук и ног. Так, в одной из работ человек должен был принести подставку и встать на нее. Еще один подобный эпизод — процесс подсоединения инжекционной машины к штуцерам: необходимо было сделать так, чтобы у аватара правильно вращались руки. Результаты нашей работы мы оценивали с помощью тестирования.

Многопользовательский режим организован следующим образом: виртуальная лаборатория и главный (учительский) компьютер выполняют функцию сервера, студенческие компьютеры выступают в роли клиентов. Учащиеся смотрят, как преподаватель выполняет задания, затем делают их самостоятельно уже в режиме индивидуальных работ. На мой взгляд, у нас в итоге получились довольно реалистичные симуляции.

— В каком соотношении в дальнейшем будут проводиться реальные и виртуальные лабораторные работы?

— Здесь, наверное, я не смогу дать полноценный ответ, поскольку обучение будет проводиться на кафедре производства летательных аппаратов. У нас уже есть две описанные выше лабораторные работы, планируется создать третью. Вероятно, занятиям в виртуальной среде будет посвящен целый отдельный курс. Впрочем, в университете есть и реальные лаборатории, где стоят эти же установки, поэтому, наверное, преподавание будет проводиться в обоих форматах.

На мой взгляд, обучение не следует полностью переводить в виртуальность — студент все-таки должен что-то увидеть и попробовать сделать своими руками вживую. Виртуальная реальность необходима для проб и ошибок, а для окончательного оттачивания умений, пожалуй, необходимо работать и с настоящими объектами

— Можете подробнее рассказать о третьей лабораторной работе, над которой вы сейчас работаете?

— Этот проект пока находится на начальном этапе. Суть заключается в том, что мы планируем переходить в область дополненной реальности. Мы хотим, чтобы студент выполнял лабораторную работу на реальной установке в университетской лаборатории, но при этом в его очках отображались подсказки. Например, система могла бы распознавать предметы, которые видит учащийся, и выводить названия деталей.

Пока мы обсуждали только общий концепт проекта. Определенные сложности связаны с выбором реальных лабораторных установок, с которыми могла бы проводиться работа в дополненной реальности. Сейчас рассматриваются два или три разных варианта. Этим вопросом больше занимается кафедра производства летательных аппаратов.

— Позволяют ли созданные вами программы проводить занятия дистанционно — например, если преподаватель находится в другом городе? Если нет, планируется ли дополнять программы такой функцией в дальнейшем?

— На самом деле, этому вопросу мы даже посвятили отдельную «ветку» нашего проекта: чтобы решить поставленную задачу, мы создали специальную цифровую информационную систему вместе с одним из студентов в рамках его диплома. Ее оформление напоминает классную доску, и на ней преподаватель видит список учащихся, удаленно выполняющих лабораторные работы. По мере того как студент решает отдельные задачи в виртуальном пространстве и сохраняет свои результаты, на виртуальной доске отображается процент выполненных заданий. Когда учащийся заканчивает и сохраняет лабораторную работу, преподаватель видит его статус.

Наша команда решила не загружать сеть работой в режиме онлайн — это как раз особенно актуально при удаленном обучении на больших расстояниях. Тем более что учеба в цифровом пространстве зачастую не требует связи в реальном времени — студенты могут выполнять задания индивидуально.

Мы организовали процесс следующим образом: учащийся скачивает локальную версию программы и выполняет в ней лабораторную работу, но сохраненные им результаты выводятся на сервер. Соответственно, преподаватель видит, какую часть заданий студент уже успел выполнить. Работа в таком формате не требует постоянного взаимодействия в режиме онлайн. Мы посчитали, что так будет лучше, поскольку, если обучающихся очень много, преподаватель вряд ли сможет заглянуть в виртуальное пространство к каждому студенту, чтобы проверить и подправить работу. Поэтому ему будет удобнее отслеживать процесс таким образом.

— Опишите процесс создания систем для работы в виртуальном пространстве. Какие инструменты и программы использовались, сколько времени заняла разработка?

— Разработка этих двух лабораторных работ заняла чуть больше полугода. Мы запустили проект примерно в сентябре 2024 г. и к новому году закончили первую лабораторную работу. Вторая разрабатывалась быстрее: мы представили ее к февралю 2025 г. Надо понимать, что параллельно с этим проектом мы полноценно занимались обучением студентов: вели занятия, прерывались на сессии.

Работа над проектом началась с постановки задачи кафедрой производства летательных аппаратов. Ее сотрудники предоставили нам все первоначальные модели трехмерных объектов для создания симуляций. Затем их в основном приходилось дорабатывать, потому что у многих установок были подвижные детали: то есть цифровые макеты нужно было делить на части и делать анимацию открытия дверок, поднятия различных элементов, соединения штуцеров и т.д.

Приходилось работать не только в системах программирования, но и с технологиями моделирования. Проводился также активный поиск, поскольку нет смысла самостоятельно создавать симуляции управляющих шкафов с кнопками — таких моделей очень много в свободном доступе.

В основном мы использовали для разработки программную среду Unity. Сейчас наши ребята проходят обучение по использованию отечественной платформы VR Concept. Посмотрим, насколько она применима для наших проектов. Честно говоря, нам как программистам нравится работать со сложными задачами — всевозможными системами частиц, гибкой механикой наподобие пресловутых шлангов, — а VR Concept, судя по всему, предлагает меньше таких возможностей. Конечно, хочется программировать свободно — когда с помощью цифровых инструментов можно сделать все, что угодно.

Над проектом работала небольшая команда: всего три человека, кроме того, я как руководитель, а также куратор от кафедры производства летательных аппаратов. Отдельные задачи решались удаленно, и уже потом мы объединяли результаты в нашей лаборатории и как минимум раз в неделю просматривали то, что получилось, в очках виртуальной реальности на специально оборудованном рабочем месте.

— Используются ли уже созданные вами лабораторные работы на занятиях студентов? Если да, каков отклик преподавателей и молодых людей на инновацию?

— К сожалению, мы еще не успели приступить к внедрению разработок по учебному плану. Эта дисциплина заложена на втором курсе магистратуры ПИШ, а набор учащихся в инженерную школу у нас начался только с 2024 г. 

Мы ожидаем, что эти лабораторные работы будут внедрены со следующего года. К этому времени хотелось бы еще успеть сделать третий проект с дополненной реальностью, чтобы в обучении студентов уже сочетались как цифровые модели, так и реальные объекты. 

— На каком этапе в настоящее время находится проект по созданию виртуальных лабораторий? Как его планируется совершенствовать, если есть такие планы?

— Планы по совершенствованию есть. В первую очередь, как я уже упоминал, мы хотим перейти к технологиям дополненной реальности. Основной вопрос пока состоит в выборе и согласовании реальных установок для внедрения нового подхода. Нужно, чтобы это было и наглядно, и полезно для студентов с точки зрения освоения новых навыков. Наработки в области дополненной реальности у нас уже есть.

На мой взгляд, дополненная реальность более эффективна, потому что она позволяет соприкоснуться с реальным объектом: это не работа с цифровыми моделями, а просто получение помощи от компьютера. Виртуальная реальность хороша тем, что можно ошибаться, портить материалы без ущерба для реальных ресурсов. Но есть и другая сторона. Во время тестирования мы специально пытались воспроизводить сценарии, в которых учащийся выполняет задания неправильно. И в некоторых случаях оказывалось, что мы что-то не предусмотрели. Например, студент мог установить деталь неправильно (задом наперед), но успешно ее закрепить, и система не распознавала эту ошибку. В случае с реальной конструкцией сделать что-то подобное невозможно, а у виртуальных моделей, конечно, есть определенные особенности. Поэтому дальше мы все-таки будем двигаться в направлении дополненной реальности.

— Существует ли какая-либо особая техника безопасности при работе с виртуальной и дополненной реальностью? Например, ограничение по времени использования VR-очков или нечто подобное?

— Мне кажется, это очень индивидуальный вопрос. Насколько я знаю, особых выработанных методик нет. Определенная специфика, конечно, существует, и мы даже столкнулись с этим воочию. У нас в команде работает студент, у которого есть проблемы со зрением, и он вообще не может носить очки виртуальной реальности, потому что у него сразу начинает кружиться голова — видимо, из-за особенностей вестибулярного аппарата. Но при этом он с большим интересом участвует в проекте, просто занимается разработкой только на компьютере и не участвует в тестировании. То есть для некоторых студентов использование виртуальной реальности, вероятно, будет проблематично. К сожалению, пока технология не внедрена массово, мы не можем узнать, как это будет на самом деле.

Стоит упомянуть и другую важную особенность — в виртуальной реальности человек сразу теряет представление о пространстве: возникает ощущение, что можно активно передвигаться без ограничений. Например, пропадает восприятие высоты: допустим, подключая что-то в виртуальной лаборатории, в реальном мире человек может даже забраться под стол. При этом наше рабочее место для тестирования системы было не очень большим и располагалось в помещении, где велись работы над другими проектами. И иногда случалось так, что испытатель с кем-нибудь сталкивался. Поэтому необходимо все время быть внимательным. Нужно подумать над вопросом оснащения помещения, где будут проводиться виртуальные лабораторные работы: как сделать так, чтобы студенты не мешали друг другу, особенно если их будет много. Видимо, мы тоже будем решать эту задачу совместно с коллегами.

И, конечно, важно помнить о том, что глазам при работе с компьютером и с очками виртуальной реальности необходимо давать отдых. Но я думаю, что здесь рекомендации все-таки будут индивидуальными. Например, один из наших студентов мог спокойно работать в VR-очках в течение длительного времени, а нескольким ребятам было тяжело долго использовать очки.

— На вашей кафедре также разрабатываются система для работы с виртуальными 3D-макетами и программа дополненной реальности для информирования туристов. Расскажите, пожалуйста, об этих проектах немного подробнее. Возможно, у кафедры есть и другие наработки, о которых вам хотелось бы рассказать?

— Мы действительно создаем проекты в области дополненной реальности — в основном в рамках студенческих дипломных работ. Начинали с того, что делали программы, помогающие изучать материал. Простыми словами, человек-демонстратор показывает слушателям какой-то объект, а в дополненной реальности он заменяется на другой. Скажем, преподаватель рассказывает о вращении планет вокруг Солнца и показывает это с помощью обычных предметов, которые держит в руках, а студенты в очках видят на их местах реалистичные планеты. Работа по этому направлению была очень интересной, потому что мы использовали не Unity, а исключительно OpenGL на языке программирования C++ (то есть создавали виртуальное пространство не с помощью специальной платформы, упрощающей процесс, а посредством прямого программирования с нуля. — Примеч. корр.). Другими словами, мы не применяли сторонние вспомогательные технологии, а самостоятельно создали алгоритм для отслеживания реальных объектов и последующего наложения на них трехмерных моделей в дополненной реальности. Такая заготовка может очень пригодиться в случае импортозамещения и недоступности дополнительных инструментов для работы.

Помимо этого, у нас был интересный проект по дополненной реальности для туристов: мы со студентами больше прорабатывали его теоретически, а в качестве практического применения решили смоделировать панораму Бородинского сражения. По заданию движение русских и французских войск нужно было привязать к конкретным GPS-координатам, чтобы они выходили из заранее обозначенных точек. Помимо этого, нужно было следить за правильным размещением объектов и соблюдением физических законов. Студенту, защищавшему проект, все удалось: в качестве пространства для демонстрации он задействовал пустырь около своего дома. Несмотря на то что французские войска иногда «выходили» из пятиэтажек, картинка получилась достойной.

Необычная работа, которая создавалась на нашей кафедре, — компьютерный тренажер для пожарных. При необходимости его также будет несложно перевести в виртуальную реальность. В программе случайным образом строится помещение с несколькими выходами, и испытуемый за ограниченное время должен успеть обежать эту комнату, вынести из нее ценные предметы и документы и спасти находящихся в помещении людей. При этом пострадавших нужно успокоить — сначала мы хотели сделать это в устном формате, но пока остановились на выборе варианта ответа в текстовом диалоге. Примечательно, что каждую минуту в виртуальном пространстве увеличивается количество дыма и огня — то есть у пользователя постепенно ухудшается картинка и замедляются движения (так как в реальности ему бы становилось тяжелее дышать). И при каждом новом запуске тренажера конфигурация помещения строится произвольно с нуля. До реального тестирования программы среди пожарных мы пока не дошли, но сам проект заслуживает внимания.

Работы в области дополненной реальности на нашей кафедре ведутся постоянно, и они довольно перспективны. Студенты очень интересуются такими проектами. Думаю, мы будем развивать их и дальше.

— Тренировочная работа для пожарных создавалась студентами или опытными инженерами?

— Это студенческая работа, причем даже не дипломная, а скорее проект, над которым учащиеся работали во время практики под моим руководством. Мы начали делать ее со второго курса и продолжили на третьем. Но, к сожалению, для защиты диплома автор выбрал немного другую тему. Дело в том, что студенты считают, что если они представят в качестве дипломной классическую разработку — допустим, информационную систему, — в дальнейшем это может им пригодиться для профессионального портфолио. А вот найти работодателя, которого, условно, привлечет тот же тренажер для пожарников, с точки зрения молодых людей, будет непросто. Поэтому учащиеся выполняют подобные проекты с интересом, но также стараются подготовить и что-то общепринятое, что можно показывать при приеме на работу. Пока такая тенденция есть, поскольку нет большого спроса на нестандартные задачи.

— Для работы с виртуальной и дополненной реальностью требуется определенная аппаратура. Программы в этой области, созданные в вашем университете, совместимы только с определенными моделями техники или они в целом универсальны?

— При подготовке проектов мы использовали очки PICO 4, сейчас будем переходить на устройства компании HTC. Кафедра производства летательных аппаратов уже закупила очки этой фирмы, мы тоже планируем присоединиться.

Полагаю, что особых проблем с переходом возникнуть не должно, поскольку в случае с виртуальной и дополненной реальностью аппаратная часть минимальна. Главное, чтобы были написаны программные алгоритмы, а адаптировать их для конкретных устройств можно всегда. Разработка наших проектов велась на уровне объектно-ориентированного программирования (подхода, при котором код разбивается на блоки, воспринимаемые как отдельные объекты, взаимодействующие друг с другом. — Примеч. корр.), то есть при необходимости любой модуль программы можно будет заменить. Пока мы только получили новые очки и еще не успели их протестировать, но я ожидаю, что у нас не возникнет существенных проблем при переходе к новой технике. 

Фото на превью: М.С. Осипова / предоставлено М.В. Медведевым (отредактировано с помощью ИИ: Gemini 2.5 Flash Image (Nano Banana))

Фото на главной странице и на стоп-кадре видео: личный архив М.В. Медведева

Источники изображений в тексте: freepik / фотобанк Freepik, А.С. Сытник / КНИТУ — КАИ / предоставлены М.В. Медведевым, DC Studio / фотобанк Freepik, pch.vector / фотобанк Freepik, freepik / фотобанк Freepik, wavebreakmedia_micro / фотобанк Freepik, freepik / фотобанк Freepik.