Учёные из Университета Пердью использовали свёрточную нейросеть для расшифровки фМРТ-снимков мозга, чтобы понять, как человек видит те или иные образы. Алгоритм проанализировал снимки во время просмотра видеороликов и смог определить, какое именно видео смотрит пользователь в режиме реального времени.

В эксперименте приняли участие 3 человека, они просмотрели почти 1000 коротких видеороликов, на основе которых было получено 11,5 часов фМРТ-данных. Это позволило обучить нейросеть фактически читать мысли. Система в режиме реального времени могла определять, какой именно видеоролик смотрит доброволец, по его фМРТ-снимку. Для этого ученые проводили сканирование мозга каждые 2 секунды.

Кроме этого, учёные смогли определить, какие зоны мозга связаны с отдельными блоками информации. По их словам, мозг может разделять образ с автомобилем, движущимся на фоне здания. Проще говоря, она мозга считывает автомобиль, а другая — здание.

При этом технология позволяет считывать данные даже у пациентов с расстройством зрения.