Хейгуан Вэн (Haiguang Wen) и его коллеги по Университету Пердью, США, разработали алгоритмы «глубокого обучения» — грубо моделирующие человеческий мозг — чтобы, как вы догадались, расшифровать мозг человека. В результате алгоритм оказался, например, способен с точностью до 50% «прочитать», какой из 15 видеоклипов смотрит участник эксперимента. Подробно о своих результатах ученые рассказали в статье, опубликованной в журнале Cerebral Cortex.
Во-первых, они построили модель того, как мозг кодирует информацию. Три женщины часами просматривали сотни коротких видеороликов, и, одновременно, аппарат фМРТ (функциональный магнитно-резонансный томограф) измерял сигналы активности в зрительной коре и в других областях мозга. Распространенный тип искусственной нейронной сети, используемой для обработки изображений, научился ассоциировать видеоизображения с активностью мозга.
А когда женщины наблюдали за дополнительными клипами, предсказанная активность алгоритма коррелировала с фактической деятельностью в десятке областей мозга. Это также помогло ученым визуализировать, какие функции обрабатывает каждая область коры.
Еще одна сеть декодировала нейронные сигналы: на основании активности мозга участника она смогла указать с точностью до 50% то, что она наблюдала (выбирая одну из 15 категорий, в том числе птицу, самолет и физические упражнения). Особенно интересно, что, как указали авторы работы, если бы сеть обучалась данным на активности мозга другой женщины, она все равно могла бы классифицировать изображение с точностью до 25%.
Сеть также оказалась способна частично восстановить то, что увидел участник, превратив деятельность мозга в пиксели, но полученные изображения были немногим больше, чем белые пятна.
Исследователи надеются, что их работа приведет к разработке технологии восстановления ментальных образов, в которой используются некоторые из тех же цепей мозга, что заняты обработкой изображений. Перевод ментальных образов в биты может позволить людям передавать яркие мысли или сны компьютерам и другим людям без слов или щелчков мыши и может помочь тем, кому недоступны другие способы общения.
[Иллюстрация: заимствована из статьи в Cerebral Cortex]
