Профессор РАН Олег Калашев: как обучить машинное обучение?

Что такое космические ливни и почему космические лучи высоких энергий несут больше информации, чем обычные? Зачем в астрофизике машинное обучение и чего удалось добиться с помощью «умных» алгоритмов? Чем человеческое мышление отличается от машинного? Об этом — наш разговор с ведущим научным сотрудником отдела теоретической физики Института ядерных исследований РАН, профессором РАН, доктором физико-математических наук Олегом Евгеньевичем Калашевым.

— Олег Евгеньевич, предлагаю начать с темы, с которой стартовала ваша научная биография. Это космические лучи сверхвысоких и ультравысоких энергий. Что это такое, чем такие лучи отличаются от других?

— Это очень интересный объект исследований. Если вы посмотрите на космические лучи меньших энергий, их гораздо больше. Их обнаружили уже больше 100 лет назад, но информации они нам дают не так много, потому что они отклоняются в магнитных полях. Если вы детектируете такие космические лучи, вы не можете сказать, откуда они пришли. Вы можете измерить их спектр, состав, но это как обоняние — вы чувствуете запах, но не видите точно, откуда он. Вам нужна дополнительная информация для того, чтобы это понять.

Если мы говорим о высоких и ультравысоких энергиях, то это как раз такие энергии, при которых космические лучи слабо отклоняются в галактических магнитных полях, и поэтому мы можем надеяться увидеть источники, откуда они прилетают. То есть если проводить параллель с органами чувств, это больше похоже на зрение.

— А зрение, как известно, дает нам более 90% информации об окружающем мире.

— Да, с их помощью мы надеемся увидеть такие источники, это для нас новый канал информации, сравнимый по ценности со зрением. С давних времен в оптике мы наблюдали окружающий мир, позже появились другие каналы — радиоизлучение, рентген. В последние десять лет у нас появились источники информации в виде нейтрино и гравитационных волн, что трудно переоценить. Это более ценные источники информации, чем космические лучи низких энергий, потому что мы видим, откуда это к нам прилетело.

— Но если брать космические лучи сверхвысоких и ультравысоких энергий — что с их помощью мы можем узнать?

— У них происхождение внегалактическое. Наблюдая космические лучи, мы можем примерно себе представлять, что происходит в далеких объектах, причем достаточно экзотических — типа активных ядер галактик, где царят экстремальные условия. Для того чтобы ускорить лучи до таких энергий, должны быть экстремальные условия. На Земле мы такой эксперимент поставить не можем.

— А Большой адронный коллайдер?

— Он недотягивает до подобных энергий. Сейчас наблюдение за этими лучами — единственный способ поставить такой эксперимент, причем очень дешево.

— Что это нам может дать?  

— Если говорить о прикладном значении, то, конечно, с фундаментальной физикой сложно прогнозировать что-то сугубо практическое. Вопрос в том, что в результате мы откроем какие-то новые законы, и тогда будет применение очень ценное. Взять ту же электродинамику. Вначале это была игрушка, а сейчас мы без электричества не представляем себе жизнь.

— А здесь, если пофантазировать, что может быть?

— Пока мы плохо понимаем, как устроены взаимодействия при таких высоких энергиях. Когда строился Большой адронный коллайдер, были разговоры: а вдруг мы сейчас дойдем до такой энергии, что начнут рождаться микроскопические черные дыры и произойдет какая-то катастрофа?

Но если мы понаблюдаем за тем, что происходит с космическими лучами, то сможем ответить на вопрос, почему это не произойдет. Иначе нас бы уже не существовало. Такие процессы происходили бы у нас в атмосфере, и мы бы уже давно погибли.

— Скажите, гигантские энергии можно будет в обозримом будущем как-то использовать?

— Возможно, хотя пока говорить об этом не приходится. Пока что речь идет о вещах фундаментальных, о том, чтобы увидеть наше место в этом мире, понять, что нас окружает, а это не менее важно. Но именно по той причине, что мне хочется сделать что-то более близкое к прикладным применениям, я начал сдвигаться в сторону методов машинного обучения.

— Сейчас вы занимаетесь в основном этой тематикой?

— Эта тематика достаточно обширная, универсальная. Занимаясь методами машинного обучения, я пытаюсь применять их для задач астрофизики, потому что в этом у меня компетенция наиболее широкая. И здесь получилось добиться серьезных результатов довольно малыми усилиями.

— Расскажите, что это за результаты и что за усилия.

— Я и еще несколько моих коллег в нашем отделе участвуем в международном эксперименте по космическим лучам. Это эксперимент, который детектирует космические лучи ультравысоких энергий. Физически он находится в США, в штате Юта, но коллаборация международная — Япония, Корея, Россия, Бельгия, США. Там в пустыне на площади около нескольких тысяч квадратных километров стоят детекторы, которые обнаруживают космические лучи. Точнее, не сами космические лучи, а широкие атмосферные ливни, рождающиеся космическими лучами. Это потоки частиц гораздо меньшей энергии, чем энергия первичной частицы. Иначе говоря, одна частица рождает такой ливень, и этот ливень имеет ширину до нескольких километров.

— Это много или мало?

— С одной стороны, это очень маленький поток частиц, и надеяться их напрямую детектировать было бы делом безнадежным. Одна частица на 100 кв. км в год — это мало. Вы представляете, какой детектор вам нужно поставить в космосе? Это слишком дорогое удовольствие. Но на Земле их можно детектировать за счет того, что ливни, образующие эти частицы, имеют в диаметре несколько километров, и здесь задача уже реальная. Можно поставить небольшие детекторы по одному на квадратный километр и покрыть площадь в несколько тысяч квадратных километров. Для этого нужно несколько тысяч детекторов.

Если у вас одновременно срабатывают несколько детекторов, то вы знаете, что это прилетело что-то большое, а именно ливень, большой в диаметре. И дальше вам нужно оценить свойства первичной частицы. А это нетривиальная задача.

— Как вы можете это понять?

— Чтобы это понять, делается моделирование распространения космических лучей в атмосфере, позволяющее увидеть, какой должен быть сигнал, если мы знаем свойства частицы. Но нам надо решить обратную задачу. Раньше для этого использовалась упрощенная эмпирическая формула, полученная путем моделирования, которая показывает, как профили плотности ливня, продольный и поперечный, зависят от свойств частицы. Чтобы узнать энергию исходной частицы, применив эту формулу, достаточно было оценить профиль плотности ливня, для чего реально использовалась примерно одна десятая часть доступных для каждого события данных.

Методы машинного обучения позволяют автоматически построить обратную функцию, использующую весь набор доступных данных. Когда у нас есть много примеров, мы обучаем наш алгоритм давать ответ.

— Значит, это некая самообучаемая программа?

— Да. Примеров для обучения алгоритма должно быть достаточно много. Этот метод позволил нам улучшить угловое разрешение эксперимента примерно в полтора раза. Это очень важный результат, потому что, если вы хотите построить карту неба, угловое разрешение для вас — принципиальный параметр.

Второе применение машинного обучения используется для анализа эксперимента. Если мы хотим проверить какую-то гипотезу — что, например, конкретная галактика выступает источником космических лучей, — нам надо подобрать некоторую экспериментально измеряемую величину, которая бы максимально зависела от того, верна ли рассматриваемая гипотеза. Если гипотеза верна, то эта величина в среднем принимает одно значение, если гипотеза неверна, она принимает другое значение. Это называется тестовой статистикой. Любое утверждение проверяется с ее помощью. Сконструировать эту тестовую статистику — большое искусство. И здесь мы попытались найти универсальный способ, как это сделать с помощью методов машинного обучения.

— Как же?

— Здесь идея следующая. У вас есть некоторая гипотеза, которую вы хотите проверить. И есть какая-то альтернативная гипотеза, служащая для проверки. Вы можете смоделировать, какие у вас были бы наблюдения в первой и во второй гипотезе. Дальше вы обучаете алгоритм машинного обучения, например нейронную сеть, отличать примеры, сгенерированные в одной и во второй гипотезах, и используете ответ алгоритма как тестовую статистику. Оказывается, можно сконструировать тестовую статистику так, что она будет чувствительна даже к очень малым отличиям.

— То есть этот метод идеальный?

— Казалось бы, но в реальности не все так просто. Непросто однозначно получить предсказание гипотезы, потому что слишком много неизвестных. Это довольно сложный анализ, если пытаться делать все вручную. Но можно попробовать заложить все это разнообразие в то, как вы будете генерировать ваши наблюдаемые. То есть это некий инструмент, помогающий нам получать более быстрые и точные результаты.

— Так удалось ли вам ответить на вопрос, откуда прилетают космические лучи?

— Пока мы не получили ответ, потому что задача очень сложная. Мы можем надеяться на ответ, если у нас будет на порядок больше данных, чем сейчас. Мы знаем, что, по всей видимости, космические лучи самых высоких энергий — достаточно массивные ядра, отклоняющиеся в магнитных полях сильнее, чем протоны, и это основная сложность. Насколько они размазаны и насколько смещены, зависит от того, каковы магнитные поля, во-первых, галактические, во-вторых, внегалактические, и от того, каков состав. То есть в этой задаче у нас несколько неизвестных. И без методов машинного обучения это вообще была бы задача с трудом разрешимая.

— А с этими методами?

— Если заложить верные параметры, у нас появляется шанс. Но если создать неправильную модель, мы получаем неправильный результат. Однако как метод, подход он в принципе универсальный. Скорее всего, мы должны будем увидеть некоторую популяцию источников, самые яркие из которых будут давать вклад в несколько событий. А когда у нас будет не несколько, а несколько десятков событий, тогда мы сможем уверенно говорить, что это источник.

Есть еще одна непростая задача — как оценить состав космических лучей. От состава зависит в том числе то, как мы интерпретируем то, что нам приходит. Например, это ядра кислорода или гелия? У кислорода отклонение в магнитных полях в восемь раз сильнее. Соответственно, то, как мы интерпретируем, откуда прилетело событие, зависит от того, что мы предполагаем о составе. А различить мы их не можем на уровне единичных событий, и в этом проблема. Мы пытались это разделение сделать более эффективным.

— Получилось?

— Мы попытались обучить алгоритм. В принципе, можно взять алгоритм машинного обучения, некие нейронные сети и точно с тем же подходом попытаться обучить. Мы взяли смесь из четырех ядер, заложили в вычисление, посмотрели, насколько точно можем обучить модели различать отдельные ливни. И увидели, что модель дает правильный результат в 33% случаев.

— Это много или мало?

— Вот как вы думаете? Если у вас четыре возможных ответа, вы даете правильный ответ в 33% случаев. В принципе, это лучше, чем случайно. Но если бы вы давали случайный ответ, вы бы в 25% случаев говорили бы правильно. То есть чуть больше, но не намного.

— Да, все-таки маловато.

— Это показатель того, что задача в такой формулировке неразрешима. Причина в том, что ливни очень похожи и ливни от протонов и от гелия могут выглядеть абсолютно одинаково, просто разная вероятность.

— Значит, надо по-другому ставить задачу?

— Да, именно так, задачу нужно ставить по-другому. Мы не можем отличить на уровне индивидуальных событий, но можем отличить на уровне большого количества событий. Поэтому мы взяли имеющийся результат и начали его использовать как тестовую статистику. Мы обучили вторую нейронную сеть, принимающую на вход уже не одно событие, а большое их количество. И для такого количества она должна была оценивать состав. Для большого количества событий у нас получилась оценка гораздо лучше — погрешность была, если не ошибаюсь, 7%.

— В чем ценность этой информации?

— Ценность в том, что мы можем увидеть источники, понять, откуда прилетают космические лучи. Однако ситуация еще сложнее. Энергии, возникающие при взаимодействиях космических лучей с молекулами кислорода или азота в атмосфере, энергии в системе центра масс где-то на порядок больше энергий, доступных для измерения в Большом адронном коллайдере. И на самом деле мы не знаем, как устроено взаимодействие на этих энергиях. Поэтому все вычисления основаны на каких-то экстраполяциях. Это и плохо, и хорошо.

— А почему это хорошо?

— Это задача со многими неизвестными, и если нам удастся ее решить, то мы получим ответ на вопрос, как устроено взаимодействие на высоких энергиях. Эта задача дорогого стоит. Но это большая многопараметрическая задача, где довольно много ограничений. Мы можем отбросить нерабочие модели, и чем больше у нас разнородных наблюдений, тем больше моделей мы отбрасываем, после чего остается достаточно узкий диапазон.

Поэтому у нас, с одной стороны, много неизвестных, с другой стороны, много систем уравнений — и мы надеемся, что в конце концов найдем ответ.

— Мы привыкли думать, что физика — экспериментальная наука и любая теория должна проверяться экспериментом. В данном случае это никоим образом невозможно и неизвестно, получится ли это вообще когда-нибудь. Не обидно?

— Немножко обидно. Но все же у нас есть экспериментальные данные, просто мы не можем померить, например, радиоизлучение на расстоянии миллиарда световых лет от нас, но мы можем проводить эксперименты на Земле и косвенным образом пытаться докопаться до истины. В нашем случае это более трудная задача, чем в каких-то других областях.

— Но она интересная?

— Да, это очень интересно, напоминает детективное расследование.

— Какую роль в ваших теоретических исследованиях играет интуиция?

— Наверное, не последнюю, потому что предположения, которые я делал, и пути, по которым я пытался идти, не всегда были рациональными. Наверное, накапливается какой-то объем знаний, а потом откуда-то рождаются предположения, как это происходит. И не всегда это происходит осознанно.

— Может быть, этим мы отличаемся от умной машины: наше мышление не алгоритмично?

— Да, наверное, соглашусь с вами. И, видимо, поэтому любой алгоритм может быть нашим помощником, но не более того.