Компанія Google у партнерстві з Массачусетським технологічним інститутом зайнялася розробкою системи, яка буде автоматично ретушувати знімки, зняті на смартфон, і вже продемонструвала, в якому видно, як технологія працює в режимі реального часу.

Розробка базується на нейромережах, і, на відміну від існуючих алгоритмів, вона обробляє кадри в реальному часі, використовуючи безпосередньо полужність телефону. Інженери натренували алгоритм на наборі з п’яти тисяч пар фотографій: вихідних і відретушованих професійними фотографами. У реальному тестуванні алгоритм зміг видавати на екран оброблене зображення з роздільною здатністю 1920×1080 пікселів і частотою оновлення в 40-50 герц.

Повністю обробляти зображення з високою роздільною здатністю і в реальному часі поки не вийде через недостатню потужність споживчих пристроїв, тому алгоритм працює над зменшеною копією вихідного зображення, а потім переносить результати на фотографію у високій роздільній здатності.

Як було і коли чекати?

Раніше Google впровадила технологію HDR у фірмові Nexus і Pixel, ця система робила кілька кадрів з різною експозицією, після чого зшивала їх, тим самим розширюючи динамічний діапазон. Різниця між HDR і новим алгоритмом погано видна на наданих прикладах, але сам факт, що користувач може бачити результат ще до того, як натиснув на спуск, радує:

Розробники вважають, що ця технологія може бути впроваджена в смартфони в найближчій перспективі і дозволить користувачам бачити якісно оброблені фотографії ще до того, як вони зняті, не побоюючись при цьому за витрату заряду акумулятора.

Розробка буде представлена на конференції з комп’ютерної графіки SIGGRAPH 2017, а присвячена їй стаття опублікована в журналі ACM Transactions on Graphics.