Куда держит путь тензорный поезд?

Что такое матрица, обычный человек знает в основном по одноименному фильму. Но что это такое для математиков? А что такое тензорный поезд? Почему это важно и какие может давать практические результаты? Об этом рассказывает академик Евгений Евгеньевич Тыртышников, директор Института вычислительной математики им. Г.И. Марчука РАН.

— Евгений Евгеньевич, основатель вашего института — Гурий Иванович Марчук, который был еще и последним президентом Академии наук СССР. Я когда-то брала у него интервью. Замечательный ученый, который вел в том числе нестандартные исследования в области медицинских применений. Он мне рассказывал, что тяжело заболел и, поскольку врачи не смогли помочь, решил помочь себе сам с помощью математического моделирования. И, что самое удивительное, у него это получилось. Ваш институт продолжает эти традиции, вы моделируете конкретные прикладные вещи?

— Конечно. Институт появился в 1980 г. Он действительно был создан Г.И. Марчуком, когда по приглашению Политбюро он переехал в Москву из Новосибирска и стал председателем Госкомитета по науке и технике. Он поставил условие при переезде. В результате был образован отдел вычислительной математики при президиуме Академии наук СССР, позже переименованный в Институт вычислительной математики. Интересно, что при создании института были реализованы некоторые организационные принципы. Может быть, в самом начале они не были явно сформулированы, но сейчас ясно, что это за принципы. Всего их пять. Это в некотором смысле принципы идеального института. Первый: институт должен быть маленький, человек 50–70, и состоять из исследователей самой высокой квалификации. Второй: сотрудники института должны получать международную экспертизу, публиковаться не только в российских, но и в зарубежных журналах. Это было сказано в 1980 г. и как бы опережало время. Третий: институт должен быть мировым лидером хотя бы в одном, а еще лучше — в двух-трех направлениях. И это было реализовано. В области вычислительной математики уже можно сказать: то, что появилось в ИВМ РАН, получило мировую известность — наши тензорные методы, тензорный поезд, методы оптимизации на римановых поверхностях.

Есть еще ряд заслуг в области математических моделей иммунологии. Здесь первые модели предложил Гурий Иванович Марчук. Институт в каком-то смысле стал площадкой, объединяющей математиков, работающих в этой области. Появился термин «биоматематика» — математика, связанная с живыми системами, с биологией, медициной. В институте каждый год собирается конференция, объединяющая российских исследователей в этом направлении. Более того, создана кафедра в старейшем медицинском институте России — Первом Московском государственном медицинском университете (МГМУ) им. И.М. Сеченова. Открыто направление подготовки по математическому моделированию. Там сейчас действуют лаборатория и кафедра, которой заведует заместитель директора нашего института Юрий Викторович Василевский.

— У вас также есть геофизическое направление…

— Одно из главных! Есть в мире клуб топовых моделей климата, их порядка двух десятков. Дело это сложное, потому что требует участия специалистов в разных областях. Нужно хорошо понимать физику, химию процессов, взаимодействие океана и атмосферы. За год-два модель климата не делается. В России существует единственная климатическая модель, входящая в этот клуб моделей самого высокого уровня, и создана она в нашем институте. Эти модели соревнуются между собой, суперкомпьютер постоянно проводит расчеты, результаты сравнивают с тем, что происходит на самом деле. Быть принятым в этот клуб очень почетно, а чтобы в нем оставаться, нужны постоянные усилия.

Четвертый принцип: институт должен сам думать и работать над тем, как подготовить для себя новых исследователей. Это можно сделать только через университеты. Когда отдел только появился, была образована кафедра на Физтехе. Забавно, что она формально была создана на месяц раньше, чем появился отдел. Было понимание, что кафедра жизненно необходима!

— Кафедра оправдала ваши надежды?

— Сейчас можно сказать, что кафедра дала институту больше половины сотрудников. Это ее выпускники. В 2004 г. появилась еще кафедра в МГУ им. М.В. Ломоносова на ВМК. Ею стал заведовать Г.И. Марчук, сейчас заведую я. И эта кафедра тоже стала давать новое пополнение институту. Она моложе, ее выпускников не так много, но они уже заметны, один из выпускников в этом году представляет докторскую диссертацию. А уж физтеховцев, защитивших докторские, очень много. Если не думать о подготовке молодых исследователей для института, то это в каком-то смысле запланированная гибель.

И еще пятый принцип, возможно, дискуссионный: мы полагаем, что сотрудники института сами должны думать о внедрении результатов фундаментальных исследований, не ждать, что кто-то придет и возьмет.

— Это спорный принцип. Есть ученые, которые вообще не приспособлены к тому, чтобы думать о внедрении, заняты только фундаментальной наукой.

— Я неслучайно говорю об этом принципе, он не совсем обычен для фундаментальной науки. Как вообще институту, который занимается фундаментальными исследованиями, организовать внедрение своих результатов?  У нас с этой целью были образованы лаборатории в других организациях специально для внедрения результатов фундаментальных исследований, полученных сотрудниками института. Создано уже восемь таких лабораторий. Одна из самых молодых — в МГМУ им. И.М. Сеченова. Но есть лаборатория и в Гидрометцентре. С удовольствием могу сказать, что там работает модель прогноза погоды, созданная ИВМ РАН совместно с Гидрометцентром. Это единственная отечественная модель, которая работает в оперативном прогнозе.

— Это те самые прогнозы, которые мы слышим: вот идет фронт, скоро нас накроет очередная снежная буря?

— Нет, так сказать нельзя. Тот прогноз погоды, который дается народу, объединяет много источников. Один из источников — наша модель прогноза погоды, сейчас это ПЛАВ-10, в этом году принята в эксплуатацию усовершенствованная версия с пространственным разрешением 10 км. Этой лабораторией руководит Михаил Андреевич Толстых. Можно сказать, что это успешная работа. Но тот прогноз, который мы слышим, — это, конечно, синтез того, что дают наша и зарубежные модели. Это обобщенная картина.

— А если они противоречат друг другу?

— Синоптики принимают решения в соответствии со своими знаниями.

— Теперь понятно, откуда ошибки в прогнозах.

— Я полагаю, что на сайте Гидрометцентра можно увидеть и непосредственно прогноз модели ПЛАВ-10. Наши лаборатории есть и в других организациях. Например, в Институте океанологии им. П.П. Ширшова РАН, в Институте прикладной физики РАН, в Московском университете.

— Таким образом вы придумали, как претворить в жизнь ваши фундаментальные идеи?

— Да. Естественно, эти лаборатории входят в состав независимых организаций как подразделения, и некая дискуссионность здесь может быть, потому что институт небольшой, а силы идут и на руководство коллективами во внешних лабораториях. Некое противоречие, наверное, здесь есть, но тем не менее все пять принципов были реализованы.

— Хотела уточнить первый принцип: институт должен быть маленьким, чтобы быть идеальным. Означает ли это, что у большого института нет шансов на успешность?

— Конечно, есть. Это некое видение современного научно-исследовательского института, мобильного, легко откликающегося на вызовы, проблемы, и при этом института академического, занимающегося фундаментальными исследованиями в полном смысле слова. Безусловно, прикладные работы тоже присутствуют.

— Давайте коснемся интригующего вопроса: что такое тензорный поезд?

— Это название, которое придумал непосредственно я, но я не утверждаю, что придумал саму эту конструкцию. Замечательные алгоритмы тензорного поезда составили основу докторской диссертации Ивана Валерьевича Оселедца, который в то время окончил аспирантуру и был молодым сотрудником ИВМ РАН. Знаете, часто бывает, что сначала открываешь, а потом обнаруживаешь, что нечто похожее уже было. Но название «тензорный поезд» появилось точно у нас в институте. При этом были созданы также и алгоритмы, которых раньше не было.

Тензорный поезд — это представление многомерной таблицы, реализующее идею разделения переменных. Идея простая и вездесущая: функцию от многих переменных представить в виде суммы функций, каждая из которых есть произведение функций, зависящих только от одной переменной. Такого типа представлений может быть много. Тензорный поезд — одно из них, оказавшееся очень удачным.

Чтобы работать с очень большими многомерными таблицами, нужна какая-то идея. Представьте себе, что имеются 83 признака, для каждого — десять вариантов, и нужно выбрать один из них. Сколько всего вариантов? Очевидно, 10⁸³. Стандартный подход — записать все варианты в память компьютера и проводить какой-то поиск. Но 10⁸³ — это число атомов во Вселенной. Это означает, что физически невозможно хранить в памяти все варианты.

— Как же быть?

— Нужна идея! Надо придумать какую-то модель представления многомерных таблиц через приемлемо малое число параметров. В памяти компьютера будут храниться только параметры, а не все 10⁸³ элементов астрономически большой таблицы.

— Как это сделать?

— Надо понимать, что именно ты исследуешь. В последнее время происходит развитие методов искусственного интеллекта. Нейронная сеть — это пример модели представления данных. Но это модель очень общего характера. Она употребляется для таких явлений и процессов, которые не описываются законами наподобие физических законов. Эти законы не познаны. И в этой ситуации большой неопределенности, когда фундаментальных принципов нет, берется некая очень общая модель, допустим, нейронная сеть, обучается на доступных данных — и в конце концов она способна делать предсказания без знания фундаментальных законов. Это то, что происходит повсеместно. Оказывается, модели такого типа очень полезны.

Конечно, хотелось бы получать фундаментальные законы и строить модели уже на их основе. К сожалению, во многих науках и во многих прикладных задачах до этого еще очень далеко. А нейронные сети способны решать задачи без понимания этих законов. Тензорный поезд — это тоже модель представления данных.

— А что означает слово «тензор»?

— Проще всего сказать, что тензор — это многомерная таблица. Хотя математики дают более абстрактные определения и рассматривают многомерную таблицу как представление полилинейной формы. Обычная матрица — это двумерная таблица, она может рассматриваться как представление билинейной формы или как представление линейного оператора. Любая матрица представляется суммой матриц ранга 1. Минимальное число слагаемых равно ее рангу. Многомерная таблица (тензор) — это многомерная матрица, она тоже записывается как сумма многомерных матриц (тензоров) ранга 1, а минимальное число слагаемых называется ее тензорным рангом. Здесь очень интересная математика. Изучение тензоров приводит нас к непростому разделу математики, который называется алгебраической геометрией. Один из математиков даже сказал, что обычные люди боятся математики примерно так же, как обычные математики побаиваются алгебраической геометрии.

— То есть алгебраическая геометрия еще сложнее, чем то, что вы сейчас рассказываете?

— Да, это не очень простая наука.

— Когда же появился поезд?

— Тензорный поезд появился в ИВМ РАН в 2009 г. Как я уже говорил, это представление d-мерной таблицы в виде специальной суммы тензоров ранга один, но с избыточным числом слагаемых, сгруппированных особым, удобным для вычислений образом. Поиск минимальных сумм в трехмерном случае становится очень трудным, поэтому важна избыточность. Искать эффективные и надежные алгоритмы для минимальных сумм — все равно что взбираться на крутую гору. Тензорный поезд придуман для того, чтобы обойти эту гору.

— Но почему вы его назвали поездом?

— Он визуально очень похож на поезд. В какой-то момент его запись напомнила мне поезд. Там есть «паровоз», есть «вагончики», сцепленные один с другим, и все это как бы движется. Поезд по-английски  — a train. Тензорный поезд —Tensor Train (TT). Сначала мы использовали аббревиатуру ТТ, имея в виду «тензорное дерево» (Tensor Tree). И мы действительно строили дерево и на его основе получали эффективные, но довольно сложные алгоритмы. Все упростилось, когда мы поняли, каким образом «дерево» превращается в «поезд». Сейчас это название популярно среди специалистов, оно прижилось, пошло в народ — не только потому, что понравилось название, а главным образом из-за того, что удалось предложить очень простые алгоритмы.

— Что это дает в практическом смысле, как можно применить это знание?

— Почему тензорный поезд оказался интересным? Все вычисления, связанные с ним, сводятся к вычислениям с некоторыми матрицами. Это то, чего не было в предыдущих представлениях. А матричная вычислительная алгебра очень хорошо развита. Это один из самых развитых разделов вычислительной математики. И все богатство вычислительной линейной алгебры можно применять при работе с тензорным поездом.

— Им уже пользуются?

— Да, очень активно. После того как появился тензорный поезд, появились эффективные алгоритмы, доступные большому числу людей. Доступность — следствие простоты!

— Давайте скажем еще о планах института. Что вам видится важным?

— Мы никуда, конечно, не уйдем от вопросов, связанных с методами искусственного интеллекта. Здесь речь не об уже достигнутых успехах, а о том, что нужно включиться в осмысление фундаментальных математических проблем искусственного интеллекта. Для этого наши соседи в МИАН создали отдел. Я тоже участвую в этом деле. Мы очень хорошо понимаем, что модели представления данных в задачах вычислительной математики, которыми мы занимаемся, на самом деле идейно связаны с методами искусственного интеллекта. Эту связь нужно понять глубже. Тензорный поезд уже внедряется в решение задач ИИ, и это, конечно, одно из направлений наших исследований.

Стоит сказать, что существует инженерия искусственного интеллекта, и здесь достигнуты огромные успехи, и есть математика искусственного интеллекта, где тоже наблюдаются большие успехи. Причем речь идет о фундаментальных вопросах математики: можно вспомнить знаменитый результат Андрея Николаевича Колмогорова по решению 13-й проблемы Гилберта. Хорошо понято, что на этот результат можно смотреть как на один из результатов в цепочке математических основ задач искусственного интеллекта. Мы видим, что здесь есть невероятно интересные математические задачи.

— А что это за 13-я проблема Гилберта?

— Это вопрос о представлении непрерывной функции нескольких переменных в виде комбинации непрерывных функций от одной переменной и сложения. Как и при работе с многомерными таблицами, «многомерное сводится к маломерному». В тензорном поезде «большая» таблица представляется «небольшим» набором «небольших» матриц. В настоящее время математика и инженерия искусственного интеллекта пока живут как бы в параллельных мирах, отдаленно друг от друга. А хотелось бы дойти до ситуации, когда математика искусственного интеллекта станет реальной опорой инженерной практики.

— Как она сможет помогать?

— Сейчас для нас это даже не середина, а начало исследования. То, что делается на этапе обучения сетей, — это решение специфических задач оптимизации. Причем к оптимизации начинают выдвигаться самые разные требования. Это большой комплекс вопросов, которыми нужно заниматься, и то, что математики должны включиться, — это правильно. Я надеюсь, что будет такой момент, когда инженерами будет признаваться польза результатов, полученных фундаментальной математикой. Заметим, что находки в теории оптимизации уже используются и будут использоваться непосредственно при решении задач ИИ.

— А медицинскими моделями и климатом вы планируете дальше заниматься?

— Обязательно! Это два больших прикладных направления в нашем институте: первое — математика для здоровьесбережения, модели иммунологии, инженерные задачи медицины, задачи, связанные с биологическими системами, и второе — прогнозирование климатических изменений. Модели погоды и климата — это разные задачи, но уравнения одни и те же, разные масштабы для их изучения. Внедрение эффективной математики, эффективных математических методов в эти два крупных направления — одна из наших задач.