В минулому році, коли компанія Google представила лінійку смартфонів Pixel 2, розробники особливо акцентували увагу, що пристрій може обійтися одиночною камерою для портретного режиму (Portrait Mode) замість подвійної як у Apple. Це реалізовано за рахунок особливої обробки зображення за допомогою нейромережі і штучного інтелекту. І ось тепер в компанії відкрили деякі напрацювання в цій області.
Що показали
Принцип дії технології базується на семантичній сегментації зображення. Простіше кажучи, система розпізнає елементи сцени (небо, особа, собака і так далі), після чого відділяє його, дозволяючи при необхідності легко замінювати або розмивати, не чіпаючи об’єкти на передньому плані. Прикладом може служити популярний сьогодні ефект боке». При цьому Portrait Mode — лише один з варіантів застосування такої технології.
При цьому важливо розуміти, що компанія відкрила вихідні коди тільки до системи обробки зображення, а не всієї технології камери Pixel 2 (вона-то якраз проприетарная).
Що це значить
Це означає, що розробники тепер можуть використовувати напрацювання Google для створення своїх власних ефектів на кшталт «боке» або інших. Зрозуміло, це не означає, що все те, що є на Pixel 2, скоро з’явиться на інших Android-пристроях, але перший крок до цього зроблено.
Як це працює
Сама технологія називається DeepLab-v3+ і базується на принципах сверточной нейронної мережі. Зрозуміло, її попередньо навчали на різних моделях.