Искусственная живопись — как роботы пишут картины? Интервью с создателем робота-художника Артуром Каримовым

«Ты всего лишь машина. Только имитация жизни. Робот сочинит симфонию? Робот превратит кусок холста в шедевр искусства?» — задает вопрос андроиду протагонист фильма «Я робот». «А вы?» — отвечает ему тот. И действительно, алгоритмы не просто показывают высокие результаты в науке, медицине, промышленности, но и реализуют свой потенциал в искусстве: нейросети научились писать, сочинять мелодии и даже рисовать. Например, в ЛЭТИ робот-художник пишет картины мазками на холсте, как настоящий живописец. Но какова ценность такого роботического творчества? Машины — всего лишь инструмент в руках человека? Или однажды их работы встанут в один ряд с картинами людей-художников? Об этом рассказал руководитель проекта робота-художника, старший научный сотрудник Молодежного НИИ Санкт-Петербургского государственного электротехнического университета «ЛЭТИ», доцент кафедры систем автоматизированного проектирования Артур Искандарович Каримов.

— Расскажите подробнее про свое творение, как вам в голову пришла идея создать робота-художника?

— Идея возникла довольно давно. Когда я обучался в аспирантуре, хотелось начать проект, который совмещал бы в себе технические, научные навыки и мое увлечение живописью. Так пришла довольно логичная идея — сделать робота, который мог бы рисовать картины на настоящем художественном материале. Тогда эта тема становилась популярной, начали появляться первые нейронные сети, которые стилизовали изображения под картины, и логичным продолжением виделось создать робота, который мог бы это сделать не только на экране компьютера, но и в реальной жизни. 

— Как с тех времен изменились облик, функционал и технические характеристики робота-художника?

— Мы начинали с простенького учебного робота Scorbot, которого приобрели на eBay. После первых запусков стало понятно, что он не подходит для нашей задачи: недостаточно точен, слабая повторяемость движений. К тому же он был очень старый и возникали технические проблемы, связанные с износом. 

Мы приобрели небольшого китайского робота компании Dobot. В 2016 г. этот стартап только появился и мы были в числе первых покупателей. Робот был очень маленький, но он позволил отработать часть технологии. 

Затем мы решили, что пора поработать с крупным форматом, чтобы не заморачиваться с техническими сложностями. Если рисовать тонкой кисточкой, возникает много дополнительных нюансов, а чтобы работать с крупным мазком, нужен больший формат. И мы построили робота, который имел рабочее поле 60 × 90 см. Он был построен как ортогональный робот и выглядел как станок для лазерной резки. 

Но, конечно, тогда у нас не было опыта в создании подобных установок и мы допустили много неточностей. В 2020 г. мы его переделали, с тех пор у нас появилась текущая версия. Это робот, построенный из станочного профиля, алюминиевых деталей. Он достаточно точен, прочен и имеет большое рабочее поле. 

Сейчас мы работаем над тем, чтобы использовать робот-манипулятор, поскольку в этом году нашему университету (ЛЭТИ) удалось закупить такую установку. 

— Как происходит процесс рисования?

— Пользователь выбирает картинку, специальная программа преобразует ее в машинные коды, чтобы робот смог воплотить ее в виде живописи, дальше холст монтируется на рабочий стол робота и робот рисует. Когда краска заканчивается, пользователь должен ее возобновлять — добавлять в специальные резервуары краску нужной консистенции. Так робот рисует в непрерывном режиме. Нужно примерно три-четыре дня, чтобы закончить одну работу размером 50 × 70 см. 

— В предыдущих интервью вы рассказывали, что робот не умеет смешивать краски, получать нужные оттенки и контролировать насыщенность цвета от начала к концу мазка. Как удалось решить эти задачи? И почему сегодня так и не удалось добиться идентичности в передаче изображения?

— Дело в том, что задача смешивания красок — самая сложная в цветной живописи как для людей, так и для роботов. Краски порой ведут себя совершенно неожиданным образом. Можно смешать лишь чуть-чуть синей и много желтой краски и все равно получить насыщенный холодный зеленый, почти синий. А если добавить в какую-либо краску охру, ее нужно очень много, чтобы она хоть как-то проявилась. И таких эффектов много, а если это смесь из многих красок, то они непременно влияют друг на друга. Поэтому смешивание красок — та задача, которую мы взялись решать сразу после того, как научились рисовать хоть что-то. 

Как сейчас робот смешивает краски: мы закачиваем краски в специальный смеситель, который механически их смешивает. Похожие смесители используются на фабриках, но наш — маленький, специально разработанный под эту задачу. Он позволяет смешивать 2 мл краски, то есть объем, необходимый для нескольких мазков. 

Специальная программа использует данные о предварительно изученных смесях — как, имея некоторое количество красок, получить нужный оттенок. Это задача для машинного обучения, и мы сумели достаточно успешно подойти к ее решению.

Проблемы, связанные со смешиванием красок, во многом имеют технический характер: как сделать процесс надежным, как сделать так, чтобы краска дозировалась точнее, как бороться с засорами в системе. Но работа идет, и в ближайшие годы мы справимся с этими проблемами. 

— Сейчас робот работает только с акрилом?  

— Практически все роботы-художники работают с акрилом, потому что технически это проще выполнить: краска разбавляется водой и быстро высыхает. Масляные краски по многим параметрам превосходят акрил, но с ними гораздо труднее работать. Они требуют агрессивных и довольно ядовитых растворителей, разбавителей, более сложного контроля за консистенцией краски, которая долго сохнет. К тому же, когда мы наносим краску в несколько слоев, мы должны учитывать смешение невысохшей краски на холсте. Это дополнительные сложности, которые при наличии текущих проблем — лишние. Поэтому практически никто не работает с маслом.  

— Резервуары с красками похожи на картриджи принтера. Чем технология отличается от принтера, в чем глобальная разница? 

— Во-первых, в том, что в работе используется художественная краска, обладающая другими оптическими свойствами, имеющая другую консистенцию, что позволяет создавать весь спектр художественных эффектов, которые может выполнить человек. Во-вторых, технология отличается способом нанесения. Наш робот-художник работает кисточкой, и когда мы перейдем к роботу-манипулятору, то можно будет имитировать все эффекты, связанные с кистью. 

В идеале робот-художник должен воспроизводить картину ровно так, как она задумана. В этом плане по своей идеологии он и правда похож на принтер. 

— В каких областях робот-художник сможет найти применение?

— В воспроизведении точных копий картин или картин в стиле какого-либо художника. Робот-художник подойдет для задач, связанных с воспроизведением индивидуального контента на холсте с использованием художественных красок. Спектр возможных применений широкий: для общественных помещений, интерьера, рекламных целей и т.п. Или, например, в реставрации. Если эту технологию довести до ума, то она будет применима и в этой области. 

— В чем принципиальное отличие вашего робота-художника от других? На рынке уже есть подобные устройства. 

— Каждая команда специализируется на чем-то своем. Мы поставили себе цель добиться качественного смешения красок и передачи цвета. И рано или поздно мы добьемся очень маленькой погрешности и будем воспроизводить идеальную краску по тону и цвету. Усилия последних лет направлены именно на решение этой задачи.

Другие наши коллеги работают над созданием продукта, который должен выйти на рынок. Например, компания Robohood из Санкт-Петербурга — настоящий стартап, большая команда, которая делает упор на то, что продукция будет продаваться. Это очень смело, учитывая, что технология еще сырая. Но это интересная работа. 

— Установки будут продаваться?

— Поскольку это стартап, у них сделан упор на коммерциализацию. А как они эту задачу будут решать — уже их компетенции. Для того чтобы такая работа продавалась, нужно решать технические и маркетинговые задачи. В их команде есть профессиональный художник, который делает интересные работы в рамках того, что сейчас может их технология.

Есть также пример научной, академической разработки — робот e-David из Констанцского университета в Германии. Этот проект сильно повлиял на нас с точки зрения идеологии. То, как они делают работу, как тщательно документируют и публикуют результаты в научных журналах, — пример того, как нужно вести подобные технические разработки. 

Они много времени уделили тому, чтобы их робот научился смешивать краски прямо на холсте с помощью визуальной обратной связи, то есть обошли ту проблему, которую мы решаем с помощью насосов и смесителей. С точки зрения техники это боле простой путь. Но он сильнее ограничивает возможности робота, поскольку, если смешивать краски на холсте, можно быстро потерять насыщенность тона и яркость цвета. Тем не менее их робот создает довольно убедительные работы, которые лично мне очень нравятся. 

— Какие планы по развитию технологии? Вы хотите генерировать собственные картины и имитировать художественные эффекты?

— Да, перед нами стоят эти цели. Мы получили грант Российского научного фонда (РНФ 22-79-00171), чтобы сделать шаг в этом направлении. Задачу можно сформулировать так: есть обучающая выборка картин, мы хотим, чтобы робот сумел воспроизвести стиль художника или художников из выборки. Для этого нужно сымитировать манеру письма. Сначала нужно произвести детальный анализ картин, понять, как там лежат мазки, из каких красок состоят, а затем нарисовать что-то подобное. Нужны также метрики, чтобы измерить, насколько хорошо мы это сделали. 

Сейчас мы работаем над первыми двумя задачами: как извлечь информацию о мазках из картины, как измерить качество воспроизведения мазков. И в дальнейшем мы будем это интегрировать в робота. 

Что касается картин, которые робот генерирует сам, это понятная задача. Сегодня существует множество нейросетей, создающих убедительные имитации цифровой живописи и фотографий, их можно использовать как исходные изображения, которые наш робот сможет воспроизводить.

— Можно назвать это искусством? Ведь даже генерация изображений уже показывает собственные вариации, непохожие друг на друга.

— Представляет ли собой творение нейронной сети самостоятельное произведение или за ним стоит человек-художник — вопрос, который будет иметь смысл в будущем. Но сейчас, когда представляют работы нейросетевых технологий или роботов-художников, не говорят: «Это сделал робот». Все прекрасно понимают, что это сделали люди. Такая ситуация будет сохраняться, пока не будет создан сильный искусственный интеллект. Когда он появится, вот тогда и можно будет спорить, насколько работа принадлежит человеку и обладает ли такой интеллект субъектностью. 

— Разве роботизированное искусство не лишит работы реставраторов, портретистов? Как художники встретили разработку?

— Художники прекрасно понимают, что это расширение их возможностей. 

— Сейчас это скорее инструмент, а не конкурент? 

— Да, это инструмент, причем достаточно мощный. Думаю, в будущем художники повсеместно будут пользоваться помощниками, которые смогут за них что-то дорисовать, придумать. 

И это не что-то новое. В эпоху Возрождения или в Новое время, когда живопись стала массовой, в мастерских художники использовали труд подмастерьев, чтобы они делали для них заготовки для картин. Есть истории, когда художники (вроде Рубенса) делали большую часть работы не сами, а руками своих учеников. Здесь то же самое, только вместо учеников у нас машина. 

— Роботизированное искусство может способствовать общему развитию искусства?

— Думаю, что любые технологии прежде всего помогают людям лучше реализовывать свои творческие замыслы. Когда полтора года назад появились нейронные сети, которые по текстовому описанию способны генерировать очень правдоподобные картины, сначала в интернете было много споров, а затем стало понятно, что художники, которые осваивают эту технологию, становятся более конкурентноспособными на рынке коммерческой иллюстрации. Более того, появляются новые профессии, связанные с использованием нейросетей, когда не нужно обладать большими навыками с точки зрения рисования, но нужно уметь работать с нейронной сетью. Возникают новые возможности, вызовы для художников. Люди подстраиваются, и в целом искусство только выигрывает от этого. 

— Вы говорите, что уже не будет нужен художественный навык, важно будет уметь работать с новыми инструментами. То есть искусство трансформируется под влиянием новых технологий? 

— Думаю, что большинство художников будут иметь продвинутые навыки рисования, так как это позволяет лучше понимать пространство картины, чтобы нейросеть более убедительно рисовала. Но в целом, конечно, требования к владению ручными инструментами будет снижаться. 

— Если требования к навыку с развитием технологий будет снижаться, не приведет ли это искусство к упадку? 

— Нет, возникнут новые направления искусства, как это произошло с фотографией. Сначала художники боялись конкуренции, а затем стали активно использовать фотографию в своей работе, и это способствовало повышению уровня изобразительного искусства. Например, академическая живопись второй половины XIX в. очень сильно продвинулась благодаря использованию фотографий. 

Развитие технологий способствует тому, что в изобразительном искусстве появится больше направлений. Вполне может быть, что живопись с использованием искусственного интеллекта и роботов оформится в отдельную ветку и не будет конкурировать с живописью, которая создается классическим способом. 

— По отношению к роботу-художнику в некоторых материалах используют формулировку «способный рисовать реалистичные картины на холсте, которые в будущем смогут занять свое место рядом с работами современных живописцев». Как вы считаете, сможет ли когда-то картина, написанная машиной, занять место среди произведений художников?

— Вопрос в том, кто будет указан в качестве автора работы. Что касается участия подобных работ в выставках, такие прецеденты были, и уже довольно давно художники используют механические приспособления. Пионерами были люди вроде швейцарского скульптора Жана Тенгели или британского художника Харольда Коэна, которые еще в середине XX в. начали использовать роботов или механические устройства для создания изображения на холсте или бумаге. Появление чисто алгоритмического творчества тоже относится к середине XX в. Немецкие художники создали направление «генеративное искусство», которое использовало генераторы случайных чисел, чтобы создавать случайные абстрактные картины. Они участвовали в выставках и произвели большое впечатление на публику того времени. В настоящее время мы видим всплеск направлений, о которых уже давно известно, но современные технологии вносят в них новую жизнь. 

— Какое будущее технологии вы видите? 

— Касаемо того, что делаем мы, это больше инструменты в руках человека или даже искусственного интеллекта. Если сравнивать нейросети с мозгом или воображением, то, наверное, робот-художник — это глаза и руки, но никак не творческое начало. Думаю, что со временем будет появляться больше команд, стартапов и технология станет коммерчески успешной и широко распространенной. В какой-то момент мы перестанем удивляться подобным технологиям. Если сборку на конвейере делает робот, почему робот не может рисовать картины для массового сегмента или каких-то областей, где труд человека логичнее заменить трудом машины? В той же реставрации могут возникать задачи, когда нужно максимально точно воспроизвести участок изображения, но исключить влияние субъективного фактора. И здесь мы можем использовать робота, чтобы сделать реставрацию максимально непредвзятой. 

Фото на странице: Отдел по связям с общественностью СПбГЭТУ

Фото на главной странице: Музей «ЛЭТИ». Изображение предоставлено А.И. Каримовым

Источники изображений в тексте: Молодежный НИИ СПбГЭТУ «ЛЭТИ», Музей «ЛЭТИ», фото, предоставленные А.И. Каримовым.