Ученые использовали ИИ, чтобы посмотреть фильм глазами мыши

Что из этого вышло.

Каждый из нас когда-нибудь пытался пересказать другу что-то, что на днях увидел по телевизору. Порой, подобрать словам бывает совсем не просто, но ученые предполагают, что уже совсем скоро мы сможем просто проецировать свои мысленные образы на небольшой экран, как это сегодня делают ученые с мышами, пишет Daily Mail.

В ходе исследования группа ученых из Федеральной политехнической школы Лозанны (EPFL) разработала инструмент искусственного интеллекта, который позволяет интерпретировать мозговые сигналы грызунов. Этот новый алгоритм назвали CEBRA и ученые научили его сопоставлять нейронную активность с определенными кадрами в видео, в дальнейшем инструмент ИИ смог предсказывать и реконструировать то, на что в реальном времени смотрели реципиенты-грызуны.

Отметим, что данное исследование появилось вскоре после того, как ученые из Техасского университета заявили о том, что смогли использовать ИИ для преобразования мыслей людей в текстовые сообщения в режиме реального времени.

Ведущий автор нового исследования, доктор Маккензи Маттис отмечает, что они с коллегами надеются, что спустя годы интерфейс CEBRA можно будет использовать для того, чтобы облегчить жизнь нескольких категорий пациентов:

слабовидящих;

парализованных.

В ходе этого исследования ученые изначально подсоединили к зрительной области коры головного мозга мышей электроды-зонды, которые помогли измерить часть мозговой активности. Другая часть была собрана с помощью оптических зондов на генетически модифицированных мышах, нейроны которых подсвечивались зеленным после активации.

Далее ученые соединили все эти данные воедино и обучили им CEBRA, таким образом ИИ узнал какие сигналы мозга связаны с какими кадрами конкретного ролика. Далее мышам показали совершенно новый ролик, с которым они раньше не сталкивались, а ИИ фиксировал их мозговую активность.

Ученые обнаружили, что искусственный интеллект мог предсказать, какой кадр смотрела мышь в режиме реального времени, а после исследователи превратили эти данные в фильм. Маттис отмечает, что CEBRA не удалось предсказать каждый кадр и пиксель, однако точность передачи видео составила пугающие 95%. Однако на этом исследователи не планируют останавливаться — в дальнейшем они хотят обучить ИИ и попиксельному декодированию.

В видео примере можно увидеть, как мышь смотрит черно-белый видеоролик 1960-х годов, в котором мужчина бежит к машине и открывает багажник. При этом на отдельном экране можно наблюдать то, на что, по мнению CEBRA, смотрит грызун. И стоит сказать, что это пугающе похожие видео.

Ученые также отмечают, что особенной чертой CEBRA является то, что алгоритм работает в режиме реального времени, а потому ему требуется менее одной секунды, чтобы предсказать весь видеоклип. Более того, ученые отмечают, что алгоритм не ограничивается интерпретацией лишь визуальной информации из данных мозга. Он также способен использовать данные для прогнозирования движения рук у приматов и определения того, где в момент просмотра ролика находится грызун.

Все это, по мнению исследователей, свидетельствует о том, что в будущем CEBRA может быть использована для широко спектра пользователей и может стать отличным интерфейсом компьютер-мозг.