Ученые научились переводить мозговую активность в текст

Ученые из Йельского, Дартмутского и Кембриджского университетов разработали модель MindLLM, способную преобразовывать сигналы функциональной магнитно-резонансной томографии (fMRI) в текст. В отличие от предыдущих методов, она не требует индивидуальной настройки для каждого человека. Ранее попытки перевести мозговую активность в текст сталкивались с проблемами низкой точности, ограниченного набора задач и невозможности работы с разными людьми. Существующие модели зависели от индивидуальных особенностей мозга и плохо переносили знания на новых пользователей. MindLLM использует иной подход, основанный на обработке общих закономерностей работы мозга, что позволяет ей лучше адаптироваться к разным людям и задачам. Модель включает два ключевых компонента: fMRI-энкодер и языковую нейросеть. Сканирование мозга делит его на крошечные трехмерные участки — воксели, количество и расположение которых варьируются у разных людей. Однако функции мозга остаются схожими, и MindLLM анализирует активность мозга, учитывая эту особенность. Специальный механизм обработки сигналов помогает модели понимать смысл информации, а методика Brain Instruction Tuning (BIT) улучшает ее способность расшифровывать семантические данные. Это позволяет MindLLM выполнять сложные задачи, такие как создание описаний по сигналам мозга, ответы на вопросы и логические рассуждения. В...

00:17, 01.03.2025

Рубрика: «Наука и Технологии» Поделиться:

Ученые НИУ ВШЭ Санкт-Петербург научились моделировать активность мозга по движению глаз Ученые НИУ ВШЭ — Санкт-Петербург научились моделировать активность мозга по движению глаз Исследователи НИУ ВШЭ — Санкт-Петербург обнаружили устойчивую взаимосвязь между движениями ...

Киберспорт и реабилитация: исследование влияния на мозговую активность провели в ставропольском вузе Киберспорт способен снизить негативные эмоции, и в этом уверены специалисты научно-исследо ...

Точки. В. Переписке. Делают текст напряжённее, доказали учёные Вы когда-нибудь замечали, что текст типа «Нужно поговорить сегодня» кажется нормальным, а ...

Учёные МГУ нашли способ ускорить перевод видео в текст нейросетями Российские учёные ускорят перевод информации из видео в текст с помощью нейросетей Учёные ...