Нейросети уже плотно вошли в повседневную жизнь человека. На их основе работают голосовые помощники, обрабатываются данные поисковых систем, создаются автомобили с автопилотом, генерируются изображения и тексты. Однако мы мало себе представляем то, как именно они работают. Чтобы ответить на этот и многие другие вопросы, корреспондент «Научной России» побеседовал с начальником лаборатории исследования нейроморфных систем АО «НИИМЭ», ученым секретарем Научного совета РАН «Квантовые технологии» кандидатом технических наук Олегом Александровичем Тельминовым.
— Многим людям сегодня знакомо слово «нейросеть». В основном по конечным продуктам, таким как рисунки и тексты, сгенерированным с их помощью. В чем главное отличие нейросети от просто искусственного интеллекта?
— Искусственный интеллект — это большое, растяжимое понятие, практически каждый ученый может дать ему свою интерпретацию. Нейронные сети же — лишь один из механизмов, которые реализуют ИИ. Представьте себе, что вы смотрите на график курса рубля или котировок акций. Часто вы можете оценить тренд роста на определенном участке графика, взяв несколько точек и проведя через них прямую линию. У нее будет два подгоночных коэффициента — угол наклона и смещение по вертикали.
Нейросеть — это система из взаимосвязанных искусственных нейронов, реализующих математические модели. Только в простейшей нейросети таких коэффициентов будет не два, а сотни или тысячи. В передовых нейросетях — порядка 300 млрд коэффициентов. И что с ними делать? Обучить нейросеть, чтобы задать конкретное значение каждому коэффициенту. Тогда при подаче входной информации в «черный ящик» нейронной сети мы получим корректный результат. Например, распознаем на изображении кошечку или собачку. Или сделаем прогноз на основе имеющихся данных. А можем решить и обратную задачу: предскажем состав сложного вещества, обладающего заданными свойствами.
— Каким образом происходит обучение нейросети?
— В части обучения нейросети делятся на обучаемые «с учителем» и «без учителя». В первом случае потребуется большой набор тренировочных данных, для каждого элемента которого учитель заранее определяет верный ответ. Допустим, вы подаете изображение на вход нейросети с десятью выходами. Первый выход включается, когда на изображении распознается кошка, второй — когда собака и т.д. Предположим, что ответ нейросети для этого изображения не совпадает с ответом учителя. Тогда включается алгоритм обратного распространения ошибки от выхода нейросети к его входу и подстраивает коэффициенты так, чтобы получился ожидаемый ответ. И эта процедура предъявления нейросети следующего изображения из набора повторяется тысячи, миллионы раз. Значение специальной функции подскажет, когда обучение завершится. Примерно пятая часть из всего набора данных используется для проверки работы уже обученной нейросети. Мерой качества работы считается процент верных ответов нейросети. Во втором случае обучения без учителя задаются функции «наказания» и «поощрения», которые заставляют коэффициенты подстраиваться прямо во время работы нейросети.
— Что такое «нейроморфная система»? Та же нейросеть?
— Существует алгоритмический подход к решению вычислительных задач, когда математики выводят некую формулу, куда затем подаются входные значения и получается результат. Здесь время и средства уходят именно на разработку такой формулы или алгоритма. Нейросети же позволяют решать так называемые слабоформализованные задачи. В них не совсем понятны правила вычисления, человек может лишь указать нейросети, что для таких-то входных данных ожидается такой-то результат. Разработчик нейросети набирает большую базу примеров и указывает правильный ответ для каждого из них, то есть «размечает» эту базу, затем обучает нейросеть и начинает ее использовать. Человек отказывается от поиска формулы или алгоритма, перекладывая свою работу на вычислительные средства. Конечно, ему нужно выбрать архитектуру нейросети, количество и типы слоев нейронов, количество нейронов и другие параметры. Но вся рутинная работа достается вычислителю.
Какие же вычислители используются для обучения и использования нейросети? Всего два типа — классические нейроускорители, построенные на архитектуре фон Неймана 1940-х гг., и самые современные — нейроморфные. В частности, архитектура процессора определяет, каким образом связываются элементы, ответственные за вычисления, с элементами хранения информации — памятью. От начальных процессоров общего назначения CPU эволюционно перешли к специализированным процессорам цифровой обработки сигналов DSP, затем к процессорам для расчета высокоточной и реалистичной векторной графики — GPU. Основной операцией в нейросетях считается умножение и сложение с предыдущим произведением, поэтому они эффективно вычисляются на GPU, оптимизированных под эту же математику. На GPU сейчас выполняется подавляющая часть обучения нейросетей.
Проблема GPU в том, что у них высокий уровень энергопотребления. Поэтому развивалась и другая ветка — нейроускорители, компактные микросхемы, предназначенные для запуска уже обученных нейросетей. Но так или иначе все эти устройства используют классическую модель нейрона, а нейробиология не стоит на месте.
В какой-то момент нейробиологи выяснили, что нейрон в мозгу человека работает не с непрерывными сигналами, как в классической модели нейросети, а с короткими импульсами (спайками) только тогда, когда это необходимо. Потому и математики, и электронщики переключились на другую ветвь разработок и назвали ее «нейроморфной», то есть «подобной работе мозга».
Проблема классической ветви в том, что там вычислитель физически отделен от памяти и память в десятки раз медленнее, чем сам процессор, в то время как в нейроморфных устройствах мы переходим к вычислениям прямо в памяти. Один элемент одновременно выполняет функции вычисления и хранения информации, и мы получаем нейроморфную систему с увеличением и быстродействия, и энергоэффективности.
— Расскажите о ваших проектах, связанных с такими системами.
— Для классических (формальных) нейросетей имеется весьма развитая и отлаженная экосистема: алгоритмы, программы, среды разработки (фреймворки), различные процессоры для обучения и запуска. Именно здесь сосредоточены наука, образование и бизнес. Хотя область нейроморфных систем активно развивается, что мы отчетливо видим по научным публикациям, тем не менее сегодня она достаточно далека от широкой коммерциализации. В нашей стране есть несколько известных коллективов, которые разрабатывают собственные фреймворки для классических нейросетей, обеспечивают их связь с отечественными нейроускорителями.
С экосистемой для нейроморфных систем ситуация сложнее. Нейроморфные процессоры можно разделить на три категории: цифровые на классических транзисторах, но с новой архитектурой и, возможно, памятью на новых принципах; цифро-аналоговые; аналоговые с вычислениями в памяти, например на мемристорах. У нас в стране есть цифровой нейроморфный процессор «Алтай», но развитый фреймворк для него пока отсутствует. Intel в 2018 и 2021 гг. выпустил две версии цифро-аналогового процессора Loihi (название одного из дремлющих вулканов в океане) с фреймворком Lava. О подобных отечественных разработках данные отсутствуют. Третье направление — аналоговые нейроморфные процессоры, активно развивающиеся и за рубежом, и в России.
НИИМЭ более 12 лет готовит бакалавров, магистров и кандидатов физико-математических наук на базовой кафедре микро- и наноэлектроники МФТИ. Ежегодно проводим для них Школу молодых ученых. Председатель программного комитета — член-корреспондент РАН Евгений Сергеевич Горнев. Очно участвуют около 100 человек. Лучших направляем на организуемый с нашим участием «взрослый» Российский форум «Микроэлектроника» (1440 участников в 2022 г.). В обеих конференциях явно выделены секции по искусственному интеллекту и нейроморфным системам. Полтора года назад студент Герман Карнуп пришел к нам в лабораторию с идеей создать экзоскелет руки с нейросетевым управлением, считывающий электромиографический сигнал на локтевом сгибе. За это время Герман принял участие не только в указанных мероприятиях, но и во многих других, получил заслуженные награды, сформировал пул организаций и предприятий для апробации макета и подготовки выхода на серийное производство. Экзоскелет можно применять для пострадавших от инсульта: к мышце поступает сигнал от мозга, но мышца его не воспринимает. Тогда вместо мышцы электропривод перемещает экзоскелет в нужное положение. Экзоскелет с более мощным приводом может применяться для поднятия и перемещения тяжестей. В настоящее время макет экзоскелета управляется оригинальной нейросетью на GPU, но группа под руководством Германа занимается адаптацией нейросети к переходу на нейроморфный процессор «Алтай».
В 1971 г. Леон Чуа предсказал, что помимо емкости, индуктивности и резистора должен быть четвертый элемент. Он назвал его мемристором — резистором, способным запоминать свое сопротивление. В 2008 г. компанией Hewlett Packard была опубликована статья о создании такого элемента. У мемристора шесть ключевых потребительских характеристик. Пока никому не удалось изготовить прибор, у которого значение каждой из этих характеристик не ниже минимального порога. Именно на мемристорах и основаны аналоговые нейроморфные процессоры.
НИИМЭ занимается не только исследованиями в области памяти на новых физических принципах, мемристоров, но и разработкой электронных схем для обеспечения функционирования матрицы таких мемристоров. В нейросети производятся векторно-матричные умножения, а матрица мемристоров как раз их и выполняет на аппаратном уровне на максимальной скорости в аналоговой форме, оперируя напряжениями и токами по законам Ома и Кирхгофа. Интерфейсная электронная схема позволяет преобразовать общепринятый для вычислителей двоичный код в импульсные сигналы, обрабатывать напряжения и токи, возвращать результат вычислений мемристивной матрицы обратно в двоичный код.
— Какие задачи могут решать нейроморфные системы?
— Системы на основе цифровых и цифро-аналоговых нейроморфных процессоров приближаются к решению сложных задач, посильных для нейроускорителей, но с выигрышем по энергоэффективности и быстродействию за счет новых архитектур и элементной базы. А вот размерность матриц аналоговых нейроморфных процессоров пока недостаточна для решения таких задач. Однако и для них есть свои ниши. Скорее всего, вы пользуетесь голосовыми помощниками типа Алисы. Для распознавания звукового потока нужен довольно мощный процессор, особенно если он обрабатывает информацию «на борту», без доступа к облачному серверу. Его следует включать только в том случае, когда прозвучала активационная фраза типа «Алиса». Поэтому нужна небольшая, постоянно прослушивающая эфир энергоэффективная нейроморфная микросхема для детектирования такой фразы и последующего запуска мощного процессора на втором каскаде.
— Чего нам ждать от разработок с использованием нейроморфных систем в ближайшее время?
— За рубежом есть работы Илона Маска по вживлению чипов, позволяющих пациентам с проблемами со здоровьем пользоваться роботизированными устройствами в повседневной жизни. Не вдаваясь в подробности его работ, отмечу, что и на основе мемристора можно построить интерфейс между живой тканью и кремниевой электроникой. Наши коллеги из Нижнего Новгорода придумали говорящее за себя название для этого направления — нейроэлектроника. Мы видим, что нейросети позволяют решать важные для человека, но нехарактерные для его мозга задачи. С другой стороны, человек может мгновенно оценить ситуацию, окинув сцену действия взглядом и выстроив причинно-следственные связи. Нейроморфная система может и не обладать достаточным набором связей между нейронами, чтобы выполнить такую задачу эффективнее человека. И мы снова возвращаемся к нашему экзоскелету: мы либо компенсируем утраченные человеком функции, либо улучшаем имеющиеся. Нейроморфная система подключается через нейроинтерфейс к мозгу и работает в качестве интеллектуального советчика, а также восполняет утраченные или усиливает имеющиеся функции человека.
Своего рода нейроинтерфейс планируется и в экзоскелете. Сейчас рука перемещается в зависимости от ее желаемого и текущего положений с помощью электропривода. У постинсультных пользователей мышцы не реагируют на сигнал желаемого положения руки от мозга, но перемещаются под воздействием внешних электрических сигналов с определенной формой и параметрами. Поэтому нейросеть в перспективе будет воздействовать на мышцы соответствующими сигналами и тем самым приводить их в желаемое положение. Из других экспериментов известно, что реакция мышц на сигналы мозга восстанавливается при надлежащей тренировке.
Послушать интересные доклады о нейроморфных системах, элементной базе на новых принципах, технологиях и оборудовании для их изготовления и принять участие в их обсуждении можно на тематических заседаниях Научного совета отделения нанотехнологий и информационных технологий РАН «Фундаментальные проблемы элементной базы информационно-вычислительных и управляющих систем и материалов для ее создания». А если вам интересны не только нейроморфные, но и квантовые вычислительные системы, присоединяйтесь к заседаниям Научного совета РАН «Квантовые технологии».
Председатель обоих советов, президент РАН и генеральный директор нашего института академик Геннадий Яковлевич Красников считает, что «человек будет постепенно становиться небольшим киборгом» (см. статью в издании «Коммерсантъ» от 29.09.2021 г. https://www.kommersant.ru/doc/5005683).
