Ученые «сняли кино», подсмотрев, что у людей творится в голове

Без ИИ не обошлось.

Китайские ученые из Национального университета Сингапура и Китайского университета Гонконга считают, что их разработка откроет новые возможности для исследования механизмов зрения, памяти и воображения, пишет Vice.

В эксперименте участники наблюдали за короткими видеороликами, показывающими различные сцены из жизни: людей, животных, природы и т.д. Ученые использовали данные МРТ и модель ИИ Stable Difussion для преобразования текста в изображение модели под названием MinD-Video, которая генерирует видео из показания мозга. Затем эти сигналы подавались на вход нейронной сети, которая обучалась воспроизводить видео на основе данных мозговой активности. Статья с описанием работы и результатами исследования была размещена на сайте ученых.

Результаты оказались впечатляющими: нейронная сеть смогла не только восстановить общие контуры и цвета объектов на видео, но и детализировать их текстуру, движение и освещение. Видео, полученные из сигналов мозга, были более четкими и реалистичными, чем те, что создавались ранее с помощью других методов.

Ученые отмечают, что такой подход может помочь лучше понять, как мозг кодирует и декодирует зрительную информацию, а также как он хранит и воспроизводит воспоминания. Кроме того, такой метод может быть полезен для создания новых форм коммуникации и развлечения, например, для передачи видео прямо из головы человека.