Исследователи из Intel и Иллинойсского университета в Урбане-Шампейне, США, разработали получения ярких фотографий с минимальным количеством шумов при съёмке практически в полной темноте. Для обработки используется нейросеть.

Что сообщили

Группа под руководством Владлена Колтуна использовала методику глубокого машинного обучения. Нейросеть обучали по данным обычной камеры со стандартными настройками. Втипичном эксперименте авторы работы использовали фотографии, полученные при очень низкой освещенности (менее 0,1 люкса — это в несколько раз темнее, чем ночью при полнолунии) с выдержкой 1/30 секунды, диафрагмой f/5.6 и светочувствительностью ISO 8000. В этом случае хоть какое-то изображение можно получить разве что при показателе ISO 400000, однако такой параметр недоступен почти ни одному серийному фотоаппарату, не говоря уже о камере смартфона.

Однако использование нейросети позволило «вытащить» изображение, которое было снято обычную камеру с короткой выдержкой в условиях очень низкой освещенности.

На изображении выше слева и по центру находятся фотографии книжной полки, сделанные при освещенности 0,1 люкса с чувствительностью ISO 8000 и 409600, соответственно. Справа — изображение, восстановленное из первой фотографии, с помощью разработанного алгоритма.

Как это работает

Для обработки применялась методика полностью свёрточной сети (fully convolutional network, FCN), которая получает данные прямо с фотоматрицы. Для обучения нейросети использовалось использовали более 5 тысяч фотографий, полученных внутри темных помещений (с освещенностью около 0,1 люкса), и ночью на улице (с освещенностью от 0,3 до 5 люкс — при искусственном освещении или лунном свете).

Как оказалось, система способна воссоздавать яркие изображения даже при очень низкой освещенности. При этом время обработки составляло 0,38 до 0,66 секунды в зависимости от разрешения изображения и типа используемой камеры. Хотя увеличение яркости исходника нужно было контролировать вручную.

Разумеется, пока есть ограничения. Нейросеть ока не умеет работать с движущимися объектами, но это планируют исправить. Так что в будущем может появиться система обработки фото и видео с полностью автоматической доводкой картинки.

Отметим, что на сегодня не существует нормального способа увеличить яркость фотографий, снятых в темноте. Если увеличить выдержку, будет смазанное изображение, если же светочувствительность — это резко увеличит количество шумов. Так что единственным способом является постобработка на компьютере, однако методов получения качественных фотографий в полной темноте пока нет.