Специалисты ИКИ РАН и Кирилло-Белозерского музея-заповедника изучают возможности нейронных сетей для восстановления первоначального облика поврежденных произведения искусства.
Фрески собора Рождества Богородицы Ферапонтова монастыря — единственная роспись великого русского мастера Дионисия Мудрого, дошедшая до нашего времени почти в полном составе и подлинном виде с начала XVI века. В росписи, в частности, потеряны части фресок, украшающих барабан купола, после того как там пробили окна в XVIII веке.
Реставраторы восстанавливают утерянные изображения из мелких фрагментов и на основе общей карты. Но это требует много времени и сил. Можно ли использовать для этой работы нейронные сети, обученные на большой выборке изображений и способные генерировать картинки «по запросам»? И примут ли результат их работы искусствоведы?
Оказалось, что нейросеть в целом хорошо справляется с «ретушированием» не только малых, но и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук. Но есть и «ошибки» — например, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое ожидается увидеть. Эти недочеты можно исправить, продолжая обучать нейронную сеть на специально подобранных изображениях фресок и частей фресок.
«Второй метод — попробовать оценить качество реконструкции с помощью специализированных метрик, также использующих нейронные сети, — рассказал Артем Просветов, ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов, — Первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на «типичном» рисунке. Для расширения выборки к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений».
По словам ученого, итогом становятся две выборки: набор изображений с минимальными повреждениями и серия реконструированных рисунков.
«Теперь появляется возможность получить статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения «хороших» и реконструированных изображений, тем выше качество реконструкции. Получается, что сравнивается общее впечатление нейронной сети от каждого из наборов изображений, поэтому присутствие конкретного объекта на рисунке играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов», — добавил математик.
Это первые походы к решению задачи, и исследователи пока не уверены, будет ли восстановленное изображение действительно соответствовать первоначальному облику этого произведения искусства.
