ИИ для медицины и образования. Интервью о проекте инновационного программного обеспечения с Александром Хвостиковым

Методы искусственного интеллекта постепенно проникают во все сферы деятельности современного человека. И все чаще мы слышим о приложениях в медицине. Кандидат физико-математических наук, научный сотрудник факультета ВМК МГУ Александр Владимирович Хвостиков разрабатывает методы искусственного интеллекта для задач обработки и анализа гистологических изображений. В рамках исследовательского проекта молодой ученый создал программу PathScribe для работы с гистологическими изображениями. Студенты-гистологи с факультета фундаментальной медицины МГУ уже используют ее в самостоятельной работе. О принципах работы программного обеспечения и востребованности ИИ в медицине — наш разговор с А.В. Хвостиковым.

— Расскажите о вашем проекте, связанном с применениями методов искусственного интеллекта в медицине.

— Сотрудники лаборатории решают разные задачи, в том числе в области медицины, биологии, геологии и пр. Мы начали заниматься проблемами обработки гистологических изображений еще в 2017–2018 гг. Для меня лично именно медицина представляет особый интерес с точки зрения применения методов ИИ.

В свое время руководитель лаборатории Андрей Серджевич Крылов наладил тесный контакт с группой кафедры общей патологии факультета фундаментальной медицины МГУ. Как это часто бывает, вначале работа шла медленно, но вскоре мы смогли выстроить контакт и реализовали первые алгоритмы для автоматического анализа и сегментации слизистых желез на гистологических изображениях.

После получения первых результатов мы продолжили сотрудничество и стали активно разрабатывать алгоритмы для решения задач обработки анализа гистологических изображений. Напомню, что гистология изучает ткани живых организмов. В процессе исследования специалист проводит забор фрагмента определенной ткани, после чего он специальным образом консервируется, затем разрезается на очень тоненькие слои и помещается под микроскоп.

Относительно недавно появились специализированные приборы, так называемые гистологические сканеры, которые позволяют не просто смотреть на образец под большим увеличением, но еще и двигать предметный столик, давая возможность рассматривать все изображение целиком. Таким образом современные сканеры позволяют изучать изображение с 40- или 80-кратным оптическим увеличением, поэтому и размер одного изображения с фрагментом ткани может весить от трех до пяти гигабайт. Ясно, что работать с такими изображениями довольно сложно, поэтому необходимо создавать методы автоматического анализа, автоматической сегментации и поиска похожих фрагментов для помощи врачу.

Подобные задачи, с одной стороны, очень интересны, а с другой — очень сложны. Поэтому, помимо методов обработки изображений, необходимо создавать собственное программное обеспечение, которое позволит медикам комфортно работать с файлами, классифицировать объекты на изображениях и применять уже разработанные нами методы анализа и обработки изображений. Так родилась идея проекта.

— А был ли у коллег с кафедры фундаментальной медицины некий запрос на создание методов и ПО?

— Идея скорее шла от нас. Когда мы показали первые наработки коллегам-медикам, они очень удивились и, конечно, обрадовались. При этом они предложили использовать наши наработки в несколько иной области, которая стала для нас довольно неожиданной, а именно в области обучения.

Студенты кафедры общей патологии факультета медицины в рамках образовательных программ как раз и изучают гистологические изображения. На факультете собрана коллекция более чем из 300 образцов для работы с микроскопом, а также для демонстрации изображений на лекциях.

Коллеги (И.А. Михайлов и П.Г. Мальков) предложили адаптировать наше программное обеспечение для образовательных нужд студентов и преподавателей. Начиная с первого сентября 2022 г. все студенты, осваивающие курсы патанатомии на факультете фундаментальной медицины, используют наше ПО.

Все 330 образцов коллекции оцифрованы, загружены на наш собственный сервер, и любой студент или преподаватель может с любого устройства, в том числе с телефона или планшета, открыть учебную коллекцию, выбрать любое изображение и рассмотреть его в деталях.

— В чем принцип работы программы PathScribe?

— В рамках учебного процесса реализован функционал просмотра коллекции. Все изображения были оцифрованы с помощью сканера и переведены в формат производителя. Дело в том, что в мире существуют несколько производителей сканеров для получения подобных изображений. У каждого из них собственный формат хранения изображений, и между собой они несовместимы. Для решения этой проблемы мы разработали собственный универсальный формат хранения гистологических изображений. Исходное изображение, полученное с помощью конкретного сканера, конвертируется в единый формат, при этом во время конвертации программа реализует эффективное сжатие. То есть те участки изображения, где нет ткани, удаляются. Тем самым мы получаем более эффективное хранение файла, которое требует в 2–2,5 раза меньше места. При этом сейчас ПО поддерживает четыре разных формата исходных файлов, что позволяет работать с изображениями, полученными с разных сканеров.

Таким образом, вся коллекция была оцифрована, переведена в единый формат и загружена на сервер, который был нам любезно предоставлен в рамках гранта фондом «Интеллект».

Принцип работы ПО можно сравнить с методами, используемыми в современных картографических сервисах. Когда вы открываете карты на телефоне, у вас прогружаются только те фрагменты, которые вас интересуют. При этом вы можете увеличить выбранный участок, чтобы рассмотреть больше деталей. В нашем случае логика та же, только мы используем не ГИС-сервер, а собственные разработки и расчеты, реализованные нами с нуля.

— Планируется ли расширение коллекции изображений?

— В рамках проекта функционал ПО реализован таким образом, что мы можем добавлять на сервер произвольное количество изображений. Поскольку проект, помимо образовательных, реализует научное направление, в нем доступны три коллекции изображений. Первая — большая учебная, вторая — демонстрационная для пользователей, и третья, созданная с коллегами из Индийского технологического института Бомбея в рамках гранта РНФ по применению методов искусственного интеллекта, — для анализа гистологических изображений.

— Планируется ли внедрение вашего ПО в медицинскую сферу для помощи врачам?

— Конечно, это первоочередная задача. Сейчас мы активно работаем над сегментацией гистологических изображений, то есть над методами, позволяющими точно определять, к какому типу ткани относится область вокруг выбранной точки гистологического изображения.

Другая важная для врачей и медиков-ученых задача связана с поиском изображений по содержимому. Пользователь, в данном случае врач, выделяет на интересующем его изображении определенные фрагменты, которые он хочет рассмотреть. Затем наш алгоритм ищет в коллекции фрагменты, структурно похожие на те и имеющие общую организацию ткани с теми, с которыми работает пользователь. Так врач получает все найденные изображения, отсортированные от наиболее похожих к наименее похожим. Эта функция может показаться странной для неспециалиста, но ключевой момент заключается в том, что для части изображений в оцифрованной коллекции, возможно, уже поставлен диагноз. Таким образом, врач может посмотреть похожий случай, что поможет ему в принятии решения.

— Одним из интересных приложений ИИ в медицине, на мой взгляд, становится направление дополненной и виртуальной реальности. Планируете ли вы в дальнейшем развивать проект в этом направлении?

— И да и нет. Сейчас мы заняты разработкой, которая не связана напрямую с AR или VR, но имеет к ним отношение. Проект основан на работе с микроскопическими изображениями. То есть рассматривать их в очках виртуальной реальности смысла нет, по крайней мере сегодня.

Но, как вы знаете, для обучения алгоритмов ИИ необходимо большое количество различных данных. И когда мы пытаемся обучить нашу нейросеть сегментировать или выделять структуры на изображениях, мы вначале должны их разметить, причем в большом количестве и вручную. Поэтому одной из основных составляющих научных задач остается разработка универсального средства для аннотации. В рамках работы над программным обеспечением пользователю будут предоставлены несколько инструментов, с помощью которых он сможет осуществлять разметку на изображении. Причем эти инструменты также реализуются на основе тех же самых ассистирующих нейронных сетей, позволяющих выполнять разметку намного быстрее, чем с текущими классическими ручными способами.

Другое интересное приложение (пока в виде прототипа) связано с применением коллаборативного режима. Программа позволяет создавать некую виртуальную комнату, в которой преподаватель может общаться с другими участниками, например студентами. Лектор может делиться собственным экраном, увеличивать фрагменты изображений, давая пояснения, и т.д. Это, как нам кажется, позволит поднять образовательный процесс и общение учителя со студентами на новый уровень. Подобные приложения сейчас очень востребованы. Поэтому мы надеемся, что в скором времени это будет реализовано уже не в виде прототипа, а в виде работающего модуля, которым смогут воспользоваться как преподаватели, так и студенты факультета фундаментальной медицины.

— Насколько вам как математику и разработчику было сложно вникнуть в такую сферу, как гистология?

— На самом деле у меня не было такой цели. Моя сфера интересов связана в основном с методами искусственного интеллекта и обычным программированием. Когда же требуется дополнительная информация о медицинской стороне вопроса, мы, естественно, консультируемся с нашими коллегами-медиками.

Если говорить об образовательном аспекте нашего проекта, то для разработки ПО нет необходимости погружаться в медицину. Я не упомянул об этом ранее, но к каждому изображению коллеги-гистологи составили аннотацию с подробной информацией об органах, к которым относится та или иная ткань, о заболеваниях и пр. С нашей стороны мы предложили новую систему быстрого поиска по текстовым описаниям, которая была хорошо воспринята коллегами-медиками. Именно так выстраивается процесс взаимодействия со специалистами конкретной сферы.

— В начале нашего разговора вы отметили, что вам изначально была интересна тема медицины и разработка проектов для медиков и врачей. Почему?

— Это достаточно сложный вопрос. Так сложилось. Будучи студентом ВМК, я распределился на семинар при лаборатории математических методов обработки изображений. Одной из первых серьезных задач, которой я стал заниматься, стала диагностика фиброза печени по ультразвуковому изображению. Меня затянуло на несколько лет, после чего я съездил на стажировку во Францию, где занимался трехмерными изображениями МРТ головного мозга для диагностики болезни Альцгеймера. И в дальнейшем все это переросло в гистологию.

— А в детстве не было желания стать медиком?

— Нет. Сказать по правде, я занимаюсь не только этим направлением. В лаборатории совместно с геологическим факультетом МГУ активно ведется работа над проектом для поиска рудных минералов и их автоматической идентификации.

— То есть методы искусственного интеллекта позволяют работать с разными направлениями и задачами?

— Конечно. Важно, чтобы в каждой сфере был достаточно тесный контакт с представителями этой области. Это позволяет эффективно адаптировать наработки под конкретные задачи.

Нельзя просто взять универсальную сегментирующую нейронную сеть, которая будет одинаково хорошо работать и для гистологии, и для геологии, и для детекции людей на фотографии. Конечно, необходимо погружаться в каждую из предметных областей, искать и выделять нюансы, изучать литературу и подбирать конкретные методы, совместимые с конкретными задачами. В этом и заключается основная исследовательская работа и, пожалуй, одна из основных сложностей.

— Как вы считаете, насколько значимыми для медицинской сферы могут быть проекты, подобные вашему?

— На этот вопрос ответить достаточно сложно, поскольку судить стоит не мне, а коллегам-медикам, которые будут все это применять. С их стороны есть заинтересованность, причем высказанная не только от факультета фундаментальной медицины, но и от других факультетов, где студенты изучают курсы, связанные с гистологией и патологией. Могу лишь сказать, что, по отзывам наших врачей-гистологов, такие наработки весьма актуальны и конкурентоспособны.