Как выглядят портреты известных белорусов, реставрированные нейронными сетями?

Изображения можно будет использовать в кинематографе, игровой индустрии, даже в научных исследованиях.

Инженер Руслан Чатырко в свободное время занимается нейронными сетями и реставрирует портреты известных белорусов. Именно он автор портрета Калиновского, опубликованного на обложке свежего номера журнала «Наша гісторыя». Расспросили его о технологиях и возможностях нейронных сетей, а также посмотрели на эти работы.

«Почему Калиновский? Я из белорусскоязычной семьи, поэтому не знать о нем было бы странно. Не помню даже, когда он не был рядом», — говорит Чатырко.

Как на практике происходит его работа? Например, есть испорченная фотография, на основании которой нужно создать качественное изображение. Или хочется улучшить качество старого фото. «Нейронная сеть берет исходное изображение и увеличивает его размер. Далее сеть перебирает лица из базы StyleGAN2, пока не найдет то, которое при уменьшении к исходному размеру будет выглядеть как первоначальное изображение. Получается пиксельный исходник. Сеть анализирует его, повышает его четкость, а также пытается дорисовать недостающие детали».

Выходит, что нейронные сети — это искусственный интеллект? Не совсем.

«Результат их работы всегда ограничен данными, которые закладывает в них человек, — объясняет Руслан. — Нейронная сеть не способна придумать что-то совершенно новое, это лишь переработка исходных данных. Но результат может быть абсолютно неожиданным для человека».

Как это выглядит на практике?

Максим Богданович

«Нейронная сеть обращает внимание на всевозможные детали: наличие щетины, лысины, веснушек, очков, высоты лба и очертания скул. Но иногда она способна «додумывать» то, что кажется ей слишком искаженным на изображении».

Например, когда программист начал работать со сканом фотоснимка Калиновского, то на подбородке было потемнение.

«Нейронная сеть дорисовала щетину. А люди начали писать в комментариях, что на фотографии ее не было. Поэтому пришлось исправлять.

У меня пунктик — изображение должно быть максимально приближено к настоящей внешности».

Элиза Ожешко

Сколько времени уходит на создание одного портрета?

«Все зависит от качества изображения. Калиновского делал не слишком долго, за один день, так как изначально был хороший фотоснимок.

Я сделал с него скан, нейронные сети с ним работали. У фото Калиновского не было дефектов, разрывов и т.д. Если они имеются или при переводе в цвет, работа идет сложнее и дольше.

На данный момент Руслан обработал уже около двадцати изображений общественных деятелей.

«Большинство из этих двадцати — представители Великой Литвы: например Роман Скирмунт, Элиза Ожешко… Те представители национального движения, которые несколько выпали из белорусской среды. Но я их очень уважаю. Если попросят, сделаю и других».

А как насчет денег?

Николай Радзивилл Черный

«Денег не прошу, но не отказываюсь от них, — улыбается Руслан. — Была такая история. Человек попросил восстановить фотографии из собственного архива. Спросил, сколько будет стоить. Я предложил, что сначала сделаю работу. В итоге за несколько дней восстановил ему всю родословную, а потом задумался, сколько денег попросить. Друг посоветовал: предложи, чтобы заказчик сам назвал сумму. Только чтобы ему было не втягость, а тебе приятно».

Но в интересный проект Чатырко готов вписаться и бесплатно.

По его мнению, специального образования для такой работы не нужно. «Главное — желание. В интернете хватает комьюнити. Если есть вопрос, люди помогут».

Какие возможности у нейронных сетей? Например, они позволяют взять изображение скульптурного портрета и сделать на его основе портрет.

«Это особенно хорошо, когда никаких изображений, кроме скульптурных, не осталось. Идею я перенял у одного англоязычного художника — он восстанавливал портреты на основе бюстов римских императоров. Теперь так могу делать и я.

Однажды пришлось улучшать качество географических карт. Не сказал бы, что получилось классно. Еще есть над чем работать. Но стало заметно лучше.

По мнению Руслана, возможностей для использования нейронных сетей масса. Одна из них позволяет мониторить изменения в Википедии: «При удалении текста — один звук, в случае редактирования — другой»

Как полагает программист, полученные изображения можно будет использовать в кинематографе, игровой индустрии, возможно, даже в полноценных научных исследованиях.

«Область применения ограничена исключительно фантазией человека».