Состояния, похожие на циклы сна, подавляют нестабильность, связанную с непрерывным самообучением в искусственных аналогах мозга, - пишет eurekalert.org.
Никто не может сказать, будут ли андроиды считать овец, но они почти наверняка будут нуждаться в периодах отдыха, которые предлагают преимущества, подобные тем, которые сон дает живому мозгу, согласно новому исследованию из Национальной лаборатории Лос-Аламоса.
«Мы изучаем пикирующие нейронные сети, которые являются системами, которые учатся так же, как живой мозг, - сказала компьютерный ученый из Лос-Аламосской лаборатории Йизинг Уоткинс. - Мы были очарованы перспективой обучения нейроморфного процессора способом, аналогичным тому, как люди и другие биологические системы получают информацию из окружающей среды в процессе развития».
Уоткинс и ее исследовательская группа обнаружили, что моделирование сети стало нестабильным после продолжительных периодов обучения без присмотра. Когда они подвергли сети воздействию состояний, аналогичных волнам, которые живой мозг испытывает во время сна, стабильность была восстановлена. «Было похоже, что мы даем нейронным сетям эквивалент спокойного ночного отдыха», - сказал Уоткинс.
Открытие произошло, когда исследовательская группа работала над созданием нейронных сетей, которые близки к тому, как люди и другие биологические системы учатся понимать. Изначально группа боролась за стабилизацию имитируемых нейронных сетей, проходящих обучение без словаря, которое включает классификацию объектов без предварительных примеров для сравнения.
«Вопрос о том, как предотвратить нестабильность систем обучения, в действительности, возникает только при попытке использовать биологически реалистичные процессоры… - сказал ученый-компьютерщик из Лос-Аламоса и соавтор исследований Гаррет Кенион. - Подавляющее большинство исследователей машинного обучения, глубокого обучения и искусственного интеллекта никогда не сталкиваются с этой проблемой, потому что в искусственных системах, которые они изучают, они могут позволить себе выполнять глобальные математические операции, которые влияют на общее динамическое усиление системы».
Исследователи характеризуют решение подвергать сети искусственному аналогу сна как почти последнее предпринятое усилие по их стабилизации. Они экспериментировали с различными типами шума, примерно сравнимыми со статическим, который вы можете встретить между станциями при настройке радио. Наилучшие результаты были получены, когда они использовали волны так называемого гауссовского шума, который включает в себя широкий диапазон частот и амплитуд. Они предполагают, что шум имитирует вход, полученный биологическими нейронами во время медленного сна. Результаты показывают, что медленный сон может частично способствовать тому, чтобы корковые нейроны сохраняли свою стабильность и не галлюцинировали.
Следующая цель групп - реализовать их алгоритм на нейроморфном
чипе Intel Loihi. Они надеются, что «сон» позволит Лойки
стабильно обрабатывать информацию с камеры с кремниевой сетчаткой
в режиме реального времени. Если результаты подтвердят
необходимость сна в искусственном мозге, мы можем ожидать, что
это будет справедливо для андроидов и других интеллектуальных
машин, которые могут появиться в будущем.
[Фото: eurekalert.org]
