Разработчики из команды Google Brain, занимающейся исследованиями в области искусственного интеллекта, нейронных сетей и машинного обучения, опубликовали свои наработки в области восстановления пикселизированных изображений, детализация которых была утеряна в результате масштабирования.
Предложенная система позволяет с достаточно высокой точностью воссоздавать возможное изображение даже когда имеются сведения всего о нескольких десятках пикселей. Например, на приведённом выше изображении показан результат восстановления изображения, уменьшенного до 8x8 пикселей. Во втором столбце размещён предложенный системой вариант, а в третьем столбце эталонное изображение, из которого был создан исходный вариант 8x8. Метод основан на комбинировании двух нейронных сетей. Первая сеть решает задачу сопоставления восстанавливаемого изображения 8×8 с эталонной коллекцией изображений более высокого разрешения. Эталонные изображения приводятся к разрешению исходного варианта (8x8) и выявляются наиболее близкие совпадения. Вторая сеть, пытается восстановить недостающие детали на исходном изображении, используя в качестве источника воссоздания утраченных деталей наиболее близкие изображения.
Например, для воссоздания изображений ванной комнаты используются детали с фотографий реальных ванных комнат, которые оказались наиболее близки при сопоставлении в низком разрешении. На последнем этапе воссоздания изображения результат работы двух нейронных сетей комбинируется. При воссоздании деталей используется свёрточная нейронная сеть pixel-cnn++, реализация которой распространяется под лицензий MIT в виде модуля для платформы глубокого машинного обучения TensorFlow.
Восстановленное изображение выглядит реалистично, но оно не является реальным, а лишь показывает как могло выглядеть реальное изображение, предлагая наиболее вероятный вариант. Результат обычно содержит детали, которых не было на исходном изображении. Для оценки точности восстановления группе добровольцев было предложено исходное изображение в высоком разрешении и два уменьшенных варианта - восстановленное в 32x32 из 8x8 и уменьшенное до 32x32. Люди ошибочно посчитали реальным восстановленное изображение в 10% случаев, если на фотографии было лицо, и в 28% случаев, если на фотографии была ванная комната. Идеальным был бы результат в 50%, который указывал бы на то, что изображения неотличимы.
Источник: http://www.opennet.ru/opennews/art.shtml?num=45998
_источник]]>