Сверточная нейронная сеть помогла ученым из Университета Пердью расшифровать наблюдаемые человеком образы. Алгоритм проанализировал фМРТ-снимки мозга добровольцев во время просмотра видеороликов и смог определить, какое именно видео смотрит участник эксперимента в режиме реального времени. 

В эксперименте, результаты которого были опубликованы в журнале Cerebral Cortex, приняло участие три добровольца. Они просмотрели более 972 коротких видеороликов, на основе которых было получено 11,5 часов фМРТ-данных.

Purdue University image / Erin Easterling

С помощью данных группа исследователей из Университета Пердью научили сверточную нейросеть соотносить активность мозга с сюжетами видеороликов. Таким образом, система в режиме реального времени могла определять, какой именно видеоролик смотрит доброволец, по его фМРТ-снимку. Для этого ученые проводили сканирование мозга каждые 2 секунды.

Ученым не только удалось расшифровать мысли, но и определить, какие зоны мозга связаны с отдельными блоками информации. Как пояснили ученые, мозг способен разделять образ с автомобилем, движущимся на фоне здания. Так, одна зона мозга считывает автомобиль, а другая — здание. Методика позволяет проследить, как мозг делит визуальную информацию на блоки и как в итоге сводит ее воедино. 

Исследование также доказало, что методику можно применять для считывания данных даже у пациентов с расстройством зрения. В ходе экспериментов ученые подтвердили, что нейросеть, натренированная на данных одного добровольца, может расшифровывать данные мозга другого добровольца. 

Расшифровка визуальных данных по фМРТ-снимкам уже стала стандартной практикой среди нейрофизиологов. Благодаря системам на основе искусственного интеллекта интерпретация результатов становится более точной и быстрой. Так, в июне прошлого года американские ученые создали нейросеть, способную восстанавливать изображения лиц по воспоминаниям. А в мае китайские исследователи обучили нейросеть расшифровывать изображения, анализируя визуальную кору головного мозга.