Ученые Исследовательского центра в сфере ИИ МГУ предложили подход, при котором большие языковые модели могут компенсировать ошибки нейроинтерфейса и повысить скорость коммуникации. Препринт исследования размещен на платформе bioRxiv.
Исследователи предложили новый подход к улучшению работы нейроинтерфейсов «мозг-компьютер» (BCI), предназначенных для набора текста людьми с тяжелыми нарушениями речи и движений. В основе метода лежит интеграция больших языковых моделей (LLM), таких как ChatGPT, в систему так называемого P300-спеллера.
P300-спеллер – это устройство, которое позволяет пользователю набирать текст, концентрируя внимание на мигающих символах на экране. Система регистрирует характерный электрический сигнал мозга (компонент P300) и на его основе определяет выбранные буквы. Несмотря на надежность, такие системы работают медленно — обычно со скоростью 1–2 слова в минуту, поскольку для повышения точности требуется длительная фиксация внимания на каждом символе.
Михаил Лебедев, профессор, научный сотрудник Центра ИИ МГУ: «В этой работе мы сформулировали принцип интеграции спеллера P300 с большой языковой моделью. Мы используем нейросетевые алгоритмы для преобразования ЭЭГ в текст и обратную связь, подсвечивающую распознаваемые буквы. Большая языковая модель не только исправляет ошибки, но и предсказывает следующие слова, предлагая их пользователю».
Предложенный подход предполагает изменение стратегии ввода текста. Вместо того чтобы стремиться к безошибочному распознаванию каждой буквы, исследователи допускают появление опечаток на уровне слов и передают «черновой» текст языковой модели. LLM анализирует контекст предложения и автоматически исправляет ошибки.
В рамках работы ученые использовали данные ранее проведенного эксперимента с участием добровольцев, в котором регистрировалась ЭЭГ при наборе текста с помощью P300-спеллера. На этих данных была смоделирована ситуация ускоренного ввода, при которой распознавание букв становится менее точным. Полученные искаженные фразы затем обрабатывались тремя языковыми моделями – ChatGPT, DeepSeek и Grok.
Результаты показали, что все три модели успешно восстанавливали исходный смысл предложений. Например, строка с ошибками:
«HT WASHED HIS HAN S WITILTHE THE FRESH WATER» была корректно преобразована в предложение «HE WASHED HIS HANDS WITH THE FRESH WATER».
По мнению авторов, такой симбиоз нейроинтерфейса и языковой модели позволяет значительно увеличить скорость общения, снижая требования к точности распознавания отдельных символов. Кроме того, интеграция LLM расширяет функциональность BCI, позволяя системе не только распознавать текст, но и контекстно корректировать формулировки.
Исследователи подчеркивают, что предложенный подход применим не только к P300-спеллерам, но и к более быстрым нейроинтерфейсам, основанным на зрительных вызванных потенциалах (SSVEP), а в перспективе – и к инвазивным BCI нового поколения.
В будущем подобные гибридные системы могут использоваться не только для набора текста, но и для управления «умным домом», интернет-сервисами и техническими устройствами, а также для более точного понимания эмоционального состояния пользователя.
Работа показывает, что сочетание нейротехнологий и современных языковых моделей может повысить эффективность коммуникации для людей с тяжелыми двигательными и речевыми нарушениями.
Авторы отмечают, что исследование носит экспериментальный характер и требует дальнейшей проверки в клинических и прикладных условиях.
Информация предоставлена пресс-службой МГУ
Источник фото: irynamelnyk / ru.123rf.com
