Эта работа посвящена проблемам разработки нейроморфных классификаторов пространственно-временных паттернов, а также их применению в нейроинтерфейсах для решения задачи управления робототехническими устройствами. Рассматриваются классификаторы пространственно-временных паттернов на основе нейронных сетей, метода опорных векторов, глубоких нейронных сетей, римановой геометрии. Проводится сравнительное исследование этих классификаторов на точность многоклассового распознавания электроэнцефалографических сигналов, показывающих зависимую от времени биоэлектрическую активность в различных зонах мозга при воображении разных движений. Показано, что такие классификаторы могут обеспечить точность 60-80% при распознавании от двух до четырех классов воображаемых движений. Предложен новый тип классификатора на основе нейроморфной сети, биоподобные нейроны которой построены на модели Ижикевича. Исходный электроэнцефалографический сигнал кодируется в импульсные потоки на основе алгоритма временного кодирования. Предложенная нейроморфная сеть обрабатывает импульсные входные последовательности и формирует на выходах импульсные потоки разной частоты. Обучение сети проводится по размеченной информации, содержащей примеры правильного распознавания нужных классов паттернов воображаемых движений с применением алгоритма Supervised STDP. Распознанный класс паттерна воображаемого движения определяется по максимальной частоте импульсного потока выходной последовательности. Нейроморфный классификатор показал среднюю точность классификации 90% для 4-х классов воображаемых двигательных команд, а максимальная точность составила 95%. Путем моделирования задачи управления роботом в виртуальной среде показано, что такая точность классификации достаточна для эффективного применения классификатора в составе неинвазивного интерфейса «мозг-компьютер» при бесконтактном управлении робототехническими устройствами.
Рассматриваются наиболее перспективные методы классификации электроэнцефалографических сигналов при разработке неинвазивных интерфейсов мозг–компьютер и теоретических подходов для успешной классификации электроэнцефалографических паттернов. Приводится обзор работ, использующих для классификации риманову геометрию, методы глубокого обучения и различные варианты предобработки и кластеризации электроэнцефалографических сигналов, например общего пространственного фильтра. Среди прочих подходов предобработка электроэнцефалографических сигналов с применением общего пространственного фильтра часто используется как в офлайн, так и в онлайн режимах. Согласно исследованиям последних лет сочетание общего пространственного фильтра, линейного дискриминантного анализа, метода опорных векторов и нейронной сети с обратным распространением ошибки позволило достигнуть 91% точности при двухклассовой классификации с обратной связью в виде управления экзоскелетом. Исследований по использованию римановой геометрии в условиях онлайн очень мало, и на данный момент наилучшая точность при двухклассовой классификации составляет 69,3%. При этом в офлайн тестировании средний процент классификации в рассмотренных статьях для подходов с применением общего пространственного фильтра – 77,5±5,8%, сетей глубокого обучения – 81,7±4,7%, римановой геометрии – 90,2±6,6%. За счет нелинейных преобразований методы, основанные на римановой геометрии, а также на применении глубоких нейронных сетей сложной архитектуры, обеспечивают большую точность и способность к извлечению полезной информации из сигнала по сравнению с линейным преобразованием общего пространственного фильтра. Однако в условиях реального времени важна не только точность, но и минимальная временная задержка. Здесь преимущество может быть за подходами с использованием преобразования общего пространственного фильтра и римановой геометрии с временной задержкой менее 500 мс.
Рассматриваются вопросы применения интерфейсов мозг-компьютер в ассистивных технологиях, в частности для управления роботизированными устройствами. Неинвазивные интерфейсы мозг-компьютер строятся на основе обработки и классификации электроэнцефалографических сигналов, показывающих биоэлектрическую активность в различных зонах мозга. Системы на основе неинвазивных интерфейов мозг-компьютер после обучения способны декодировать электроэнцефалографические паттерны, соответствующие разным воображаемым движениям человека, а также паттерны, соответствующие различным аудиовизуальным стимулам. Сформулированы и приведены требования, которым должны отвечать интерфейсы мозг-компьютер, работающие в режиме реального времени, чтобы биологическая обратная связь была эффективна и мозг пользователя смог правильно ассоциировать ответы с событиями. Рассматривается процесс обработки электроэнцефалографических сигналов в неинвазивных интерфейсах мозг-компьютер, включающий пространственную и временную фильтрацию, удаление двигательных артефактов, выделение признаков и классификацию. Описываются и сравниваются классификаторы, основанные на методе опорных векторов, искусственных нейронных сетях и римановой геометрии. Показано, что такие классификаторы могут обеспечить точность 60-80% при распознавании от двух до четырех классов воображаемых движений в режиме реального времени по одной пробе. Приведены примеры использования таких классификаторов для управления роботизированными устройствами, помогающими здоровым людям лучше выполнять повседневные функции и улучшающими качество жизни людей с ограниченными возможностями. Проведены эксперименты по управлению роботизированной рукой с пятипалой кистью, мобильной сенсорной платформой и антропоморфным роботом. На основе полученных результатов исследования сформулированы задачи, которые нужно решить, чтобы применение технологии стало более эффективным.
1 - 3 из 3 результатов