Воображаемая речь - Imagined speech

Воображаемая речь (тихая речь или же скрытая речь или же внутренняя речь или, в оригинальной латинской терминологии, унаследованной клиническими терминами эндофазия) является мышление в форме звука - «слышание» собственного голоса беззвучно, без намеренных движений конечностями, такими как губы, язык или руки.^[1] Логически, воображаемая речь стало возможным с момента появления языка, однако это явление больше всего связано с обработка сигналов^[2] и обнаружение внутри электроэнцефалограф (ЭЭГ) данные^[3] а также данные, полученные с помощью альтернативный неинвазивный, интерфейс мозг-компьютер (BCI) устройства.^[4]

История

В 2008 г. Агентство перспективных исследовательских проектов Министерства обороны США (DARPA) предоставил грант в 4 миллиона долларов Калифорнийский университет (Ирвин) с целью создания основы для синтетическая телепатия. Согласно DARPA, проект «позволит пользователю общаться на поле боя без использования вокализированной речи посредством анализа нейронных сигналов. Прежде чем посылать электрические импульсы в голосовые связки, мозг генерирует специфические для слова сигналы. Эти воображаемая речь сигналы будут анализироваться и переводиться в отдельные слова, позволяющие скрытое общение между людьми ».^[4] В своей книге «Невозможные языки» (2016) Андреа Моро обсуждает «звук мыслей» и взаимосвязь между лингвистическими единицами и воображаемой речью, в основном опираясь на Magrassi et al. (2015) «Звуковое представление в высших языковых областях во время языкового производства».

План программы DARPA преследует три основные цели:^[4]

Чтобы попытаться идентифицировать паттерны ЭЭГ, уникальные для отдельных слов
Чтобы эти шаблоны были общими для разных пользователей, чтобы избежать обширного обучения устройств.
Чтобы построить прототип который будет декодировать сигналы и передавать их в ограниченном диапазоне

Методы обнаружения

Процесс анализа предметов ' тихая речь состоит из записывающих субъектов » мозговые волны, а затем с помощью компьютера обработать данные и определить содержание тем. скрытая речь.

Запись

Предмет нейронные паттерны (мозговые волны) можно записать с помощью Устройства BCI;^[2] в настоящее время использование неинвазивных устройств,^[1] особенно ЭЭГ, представляет больший интерес для исследователей, чем инвазивные и частично инвазивные типы. Это потому, что неинвазивные типы представляют наименьший риск для здоровья субъекта;^[4] ЭЭГ вызвали наибольший интерес, потому что они предлагают наиболее удобный подход в дополнение к гораздо менее сложным приборы чем у функциональная магнитно-резонансная томография (фМРТ),^[4] еще один широко используемый неинвазивный ИМК.^[2]

Обработка

Первым шагом в обработке неинвазивных данных является удаление артефакты такие как движение глаз и моргание, а также другие электромиографический Мероприятия.^[3] После удаления артефакта серия алгоритмы используется для перевода необработанных данных в воображаемая речь содержание.^[1] Обработка также должна происходить в реальном времени - информация обрабатывается по мере ее записи, что позволяет практически одновременно просматривать контент в том виде, в каком он его представляет.

Расшифровка

Предположительно, «мышление в форме звука» задействует слуховые и языковые области, профили активации которых могут быть извлечены из ЭЭГ при адекватной обработке. Цель состоит в том, чтобы связать эти сигналы с шаблоном, который представляет, «о чем думает человек». Этот шаблон мог бы, например, быть временными рядами акустической огибающей (энергии), соответствующими звуку, если бы он был произнесен физически. Такое линейное отображение от ЭЭГ к стимулу является примером нейронное декодирование.^[5]

Однако главная проблема заключается в том, что одно и то же сообщение может иметь множество вариаций в различных физических условиях (например, громкоговоритель или шум). Следовательно, можно иметь один и тот же сигнал ЭЭГ, но неясно, по крайней мере с точки зрения акустики, с каким стимулом его сопоставить. Это, в свою очередь, затрудняет обучение соответствующего декодера.

Вместо этого к этому процессу можно было бы подойти, используя более высокие («лингвистические») представления сообщения. Отображения на такие представления являются нелинейными и могут сильно зависеть от контекста, поэтому могут потребоваться дальнейшие исследования. Тем не менее, известно, что «акустическая» стратегия все еще может поддерживаться путем предварительной установки «шаблона», позволяя слушателю точно знать, о каком сообщении думать, даже если пассивно и в неявной форме. В этих обстоятельствах можно частично декодировать акустическую оболочку речевого сообщения из нейронных временных рядов, если слушателя заставляют думать в форме звука.^[6]

Вызовы

При обнаружении других воображаемых действий, таких как воображаемые физические движения, большая активность мозга происходит в одном полушарие над другим. Это присутствие асимметричной активности играет важную роль в идентификации воображаемого действия субъекта. При обнаружении воображаемой речи одинаковые уровни активности обычно возникают как в левое и правое полушария одновременно. Это отсутствие латерализация демонстрирует серьезную проблему при анализе нейронных сигналов этого типа.^[2]

Еще одна уникальная проблема - относительно низкая отношение сигнал / шум (SNR) в записанных данных. SNR представляет собой количество значимых сигналов, обнаруженных в наборе данных, по сравнению с количеством произвольных или бесполезных сигналов, присутствующих в том же наборе. Артефакты, присутствующие в данных ЭЭГ, являются лишь одним из многих значительных источников шума.^[1]

Еще больше усложняет ситуацию то, что относительное расположение электродов ЭЭГ будет варьироваться у разных пациентов. Это потому, что анатомический детали голов людей будут отличаться; следовательно, записываемые сигналы будут различаться для каждого субъекта, независимо от индивидуальных характеристик воображаемой речи.^[3]