Исследователи из США и Китая научили микророботов плавать с помощью глубокого обучения с подкреплением. Микропловцы смогли переключаться между различными двигательными маневрами в разных ситуациях, чтобы самостоятельно перемещаться к любой цели, сообщает Технологический институт Нью-Джерси (США). Результаты работы опубликованы в журнале Communications Physics.
Существует огромный интерес к разработке искусственных микропловцов, которые могут перемещаться так же, как живые микроорганизмы — например, бактерии. Такие микропловцы открывают перспективы для широкого спектра будущих биомедицинских приложений. Они могут адресно доставлять лекарства и использоваться в микрохирургии. Тем не менее, большинство искусственных микропловцов на сегодняшний день могут выполнять только относительно простые маневры с фиксированным «стилем» движения .
В этом исследовании ученые пришли к выводу, что микропловцы могут учиться и адаптироваться к меняющимся условиям с помощью искусственного интеллекта. Так же, как людям, которые учатся плавать, требуется обучение с подкреплением и обратная связь, чтобы оставаться на плаву и двигаться в различных направлениях в изменяющихся условиях, то же самое необходимо и микропловцам.
Объединив искусственные нейронные сети и обучение с подкреплением (один из методов машинного обучения), команда успешно научила простого микроробота плавать и перемещаться в любом произвольном направлении. Когда пловец движется определенным образом, он получает обратную связь о том, насколько хорошо выполняется это конкретное действие. Затем робот постепенно учится плавать, основываясь на своем опыте взаимодействия с окружающей средой.
Микропловец учится перемещать свои «части тела» — в данном случае три микрочастицы и растяжимые соединения, — чтобы самостоятельно двигаться и поворачивать. При этом он полагается только на алгоритм машинного обучения, а не на знания, вложенные в него разработчиками, добавляют авторы работы.
Испытания показали, что микроробот может двигаться по сложному пути без явного программирования – и даже при навигации в условиях возмущений, которые создают внешние потоки жидкости.
[Фото: ZOU ET AL., “GAIT SWITCHING AND TARGETED NAVIGATION OF MICROSWIMMERS VIA DEEP REINFORCEMENT LEARNING,” COMMUN. PHYS., 5, 158 (2022)]
