Этап 1. (2024 г.) Разработка теоретических и практических основ асинхронных интерфейсов «мозг-компьютер» для распознавания моторики оператора путем классификации сигналов электроэнцефалограмм с применением сверточных нейронных сетей

Проведен аналитический обзор научных и информационных источников посвященных проблемам разработки интерфейсов «мозг-компьютер» (ИМК) и их составных частей. Проведены патентные исследования в данной области. Для того чтобы определить пути решения вопросов повышения качества регистрируемых сигналов ЭЭГ было проведено исследование переходов кожа-электрод в различных исполнениях. Рассмотрены эквивалентные схемы системы кожа-электрод: общая эквивалентная схема и вариант исполнения эквивалентной схемы отражающей электрохимические процессы, протекающие между двумя электродами. На основе приведенных в первой статье вычислений была предложена универсальная эквивалентная схема перехода кожа-электрод для дальнейших исследований. Далее была проведена классификация, основываясь на значениях их эквивалентных емкостей и сопротивлений. Было выделено 4 основные группы: электропроводные (металлические), емкостные, резистивно-емкостные, резистивные. Представлены эквивалентные схемы переходов кожа-электрод отдельно по группам. Проведено имитационное моделирование различных переходов кожа-электрод. Проведены расчеты и построены зависимости величины переходных сопротивлений кожа-электрод от частоты сигнала для разных выделенных групп электродов. Анализируя построенные зависимости, был сделан ряд выводов и рекомендаций. Далее были построены АЧХ электропроводных, резистивно-емкостных и емкостных электродов для различных значений сопротивлений и емкостей переходов в частотном диапазоне 1-100Гц для различных значений емкостей и сопротивлений переходов кожа-электрод. Сделан ряд выводов и рекомендаций по проектированию электродов различного вида. Основная цель данного исследования это определение типа электродов максимально подходящих для применения в разрабатываемых ИМК, служащих для классификации моторных воображаемых движений лево/право оператора. При этом основные требования к таким электродам следующие: полоса пропускания ЭЭГ сигналов без искажений 3-50 Гц; возможность быстрой установки и замены каждого отдельного электрода самим оператором без посторонней помощи; возможность быстрого одевания/снимания нейроинтерфейса с головы самим оператором без посторонней помощи; работа электродов в «сухом» режиме без применения специального электропроводного геля. На основании проведенных исследований, очевидно, что вышеуказанным требованиям могут отвечать только резистивно-емкостные и емкостные электроды. Было проведено имитационное моделирование, проектирование и натурные испытания резистивно-емкостных электродов двух видов. Были изготовлены макеты электродов, которые были проверены в работе на собранном программно-аппаратном комплексе ИМК. Выявлено преимущество электродов на основе металлической двухрядной вилки PLD. Далее на основе исследованных пассивных резистивно-емкостных электродов были построены активные резистивно-емкостные электроды различных модификаций. Активные резистивно-емкостные электроды помимо штырьков включают в себя операционные усилители и другие электрорадиоэлементы. Были предложены три варианта схемотехнического исполнения активных резистивно-емкостных электродов: вариант на основе операционного усилителя (ОУ) TLC272 без усиления с пассивным референтным электродом (ОУ используется в качестве повторителя напряжения, обеспечивая значительное увеличение импеданса электрода и фильтрацию частот выше 100 Гц; вариант на основе TLC272 с предусилением и активным референтным электродом; вариант на основе ОУ TL062CD без усиления с пассивным референтным электродом с защитой от электростатических разрядов и фильтром нижних частот. Проведено имитационное моделирование предложенных схемотехнических решений. Предложенные варианты электродов были собраны в виде макетов. Далее были проведены натурные эксперименты. Проверены способности электродов пропускать синусоидальный сигнал с генератора сигналов в частотном диапазоне 1-100 Гц при различной амплитуде сигнала. Наилучшие характеристики показал вариант схемы на основе ОУ TLC272 без усиления с пассивным референтным электродом. Имитационное моделирование также показало преимущество данной схемотехнической реализации. Далее была проведена регистрация реальных ЭЭГ сигналов с помощью разных видов электродов. Для этого был собран комплекс регистрации ЭЭГ сигналов на основе открытого проекта «OpenBCI». Изготовленный программно-аппаратный комплекс был модернизирован для улучшения его технических характеристик. С этой целью была спроектирована плата расширения системы регистрации электроэнцефалографической информации Cyton для ИМК (подробно описано в статье №2). После сборки всего ИМК был проведен ряд тестов, позволяющих определить работоспособность аппаратуры. Таким образом, после проведенного исследования было выявлено оптимальное схемотехническое решение построения активных резистивно-емкостных электродов на основе ОУ TLC272 для съема ЭЭГ сигналов в ИМК. Используя разработанные электроды, проведен сбор базы данных записей ЭЭГ с помощью изготовленного макета ИМК. Разработана методика проведения эксперимента. В результате проведения экспериментов сформирована база данных содержащая около 100 записей с различных испытуемых. Сеанс каждой записи имел длительность по 7 мин 10 сек. Каждая запись содержит паттерны ЭЭГ возникшие в результате генерации мысленных образов, соответствующие воображаемым движениям рук (левой/правой). Регистрация проводилась для 16-ти каналов ЭЭГ. Был проведен ряд экспериментов по бинарной классификации паттернов (лево/право) как в режиме онлайн, так и в режиме офлайн (используя сформированную базу данных). Исследовано влияние локализации электродов, также их количества на точность классификации моторных образов. В результате проведенных экспериментов было установлено, что при расположении референтного электрода в центральной части головы, количество пар электродов для достижения наивысших показателей точности классификации должно составлять от 3-х до 5-ти. Также было исследовано влияние частотного диапазона регистрации ЭЭГ на точность классификации. Установлено, что максимальная амплитуда десинхронизирующихся во время подготовки и выполнения двигательного акта колебаний бета ритма находятся в полосе частот 19-31 Гц. Разработана единая методика настройки параметров интерфейсов «мозг-компьютер» для обеспечения единства измерений и максимально возможных значений точностей классификации моторных образов. Проведено исследование влияния трех алгоритмов машинного обучения на показатели точностей классификации. Сформированы оптимальные параметры настройки классификаторов. Максимальное среднее значение точности классификации составило 67,37% при применении классификатора построенного на основе метода линейного дискриминантного анализа (LDA). Максимальное пиковое значение точности классификации составило 74,90%. При использовании сторонней базы данных средняя точность классификации составила 73,44%, что показывает правильность сформулированных в методике рекомендаций. Подробности исследования отражены в статье №3. Проведено исследование эффективности использования различных моделей диффузионных нейронных сетей в задачах классификации моторных образов по сигналам ЭЭГ, показана их универсальность для работы дикторозависимыми и дикторонезависимыми наборами данных. Также проведено дополнительное исследование влияния предварительной фильтрации ЭЭГ сигналов на качество классификации. Проведено исследование эффективности классификации моторных образов как реальных, так и воображаемых движений рук при помощи классификаторов, построенных на основе моделей диффузионных нейронных сетей TimeGrad, ScoreGrad и DVa. Используя стандартные метрики «точность» и ROC-AUC был проведен анализ эффективности классификаций, как дикторозависимых, так и дикторонезависимых наборов данных. Максимальное значение метрики «точность» составило 60.93%, а метрики ROC-AUC 0.813832 для стороннего набора данных. Также в работе исследовано влияние фильтрации сигналов электроэнцефалограмм на точность классификации. Проведено сравнение эффективности работы моделей диффузионных нейронных сетей по сравнению с классической моделью сверточной нейронной сети. Подробности исследования отражены в статье №4. В качестве исходных ЭЭГ данных во всех проводимых исследованиях использовались как собственная база данных, так и сторонние для подтверждения правильности результатов классификаций. Далее было проведено исследование по установлению влияние применения различных вариантов исполнения нейронных сетей на результативность выполнения задач классификации сигналов ЭЭГ. Проведено исследование нескольких классификаторов, базирующих на разных математических подходах: LDA, правило Хебба, многослойный персептрон (МСП) и свёрточная нейронная сеть, представляющая собой повторяющиеся части архитектуры, которые состоят из некоторого набора различных слоёв ResNet . Исследование применения указанных классификаторов в наших задачах классификации привело к формулировке следующих выводов. Основным недостатками LDA является следующие: из построения LDA очевидно, что при использовании метода на данных, с перекрывающимися статистиками, невозможно построить линейно разделимое признаковое представление; данные должны быть маркированы, не подходит для парадигмы обработки данных «обучение без учителя». Недостатки рассмотренного метода ограничивает его применение в настоящей работе, т. к. сигналы ЭЭГ имеют сложную структуру и их статистики практически неразличимы. Для выделения информации из подобных данных необходимы нелинейные подходы, основным из которых является аппарат искусственных нейронных сетей (ИНС). Структурная схема нейрона Хебба соответствует стандартной структуре формального нейрона. Хебб заметил, что связь между двумя клетками усиливается, если обе клетки активируются одновременно, и предложил формальное правило обучения, в соответствии с которым вес нейрона изменяется пропорционально произведению его входного и выходного сигналов. Данный механизм обучения можно назвать «локальным», так как при изменении синоптических весов учитывается только входное и выходное значение. Другим важным свойством является явное присутствие времени в модели. Основной недостаток правила Хебба в том, что оно работает в парадигме «обучения без учителя», таким образом, в решаемой задаче классификации ЭЭГ сигналов с наперёд заданными метками его применение проблематично. В искусственных нейронных сетях используется подход обучения на некотором обучающем множестве объектов. Эффективность нейронной сети будет во многом зависеть от результатов обучения, а в частности того, насколько удалось приблизиться к локальному минимуму функции ошибки. Значительное влияние на процесс обучения оказывает репрезентативность обучающей выборки. Под репрезентативностью понимается наличие в выборке достаточного количества разнообразных объектов, наиболее полно отражающих правила и закономерности, которые должны быть обнаружены ИНС. Розенблаттом был предложен эвристический алгоритм обучения нейрона, основанный на принципах, нейрофизиологии. Экспериментально было обнаружено, что при синхронном возбуждении двух связанных нервных клеток синаптическая связь между ними усиливается. Чем чаще синапс угадывает правильный ответ, тем сильнее становится связь. Если же синапс начинает часто ошибаться или вообще перестаёт использоваться, связь ослабевает, информация начинается забываться. Таким образом, память реализуется в синапсах. Очевидным недостатком данного типа персептрона является его линейность, а как было сказано выше линейные методы (например, LDA) не в состоянии решить задачу классификации сигналов ЭЭГ. Развитием персептрона Розенблата становится МСП (fully-connected network) с функциями активации, которые вносят нелинейность в процесс вычисления отклика сети. Линейные комбинации выходов нейронов подаются на следующий слой, а линейные комбинации выходов нейронов последнего слоя образуют выход сети. Однако это простейшая модель классификации и ждать от нее выдающихся результатов не стоит. Используя несколько слоев можно построить более сложные нейроклассификаторы, чем персептрон Розенблата. Что и было нами сделано. Каждый сверточный слой состоит из пластин нейронов. Нейроны сгруппированы в пластины для того, чтобы обрабатывать входные сигналы с сохранением топологических отношений, которые потерялись бы, если подать вход в виде вектора, а не матрицы. Слои с разными функциями можно объединить в один макрослой. Выделитель признаков состоит из макрослоёв, повторяющихся и идентичных между собой. Каждый нейрон в выделителе признаков имеет своё рецептивное поле (receptive field, RF, РП), которое представляет собой квадратную область, включающую в себя нейроны, способные передавать свои сигналы нейрону на следующем слое. Для сверточной нейронной сети (convolution neural network, CNN, СНС) с классической архитектурой макро-слой – это сверточный слой (convolution layer, CL, С-слой), за которым следует слой подвыборки (subsampling layer, SL, S-слой). Использование СНС для решения задач, где требуется большое количество параметров, исчисляемое сотнями миллионов, останавливает одна проблема, которая заключается во взрывном градиенте и разрывном градиенте (shattered), который образуется при увеличении количества свёрточных слоёв в таких архитектурах как VGG или AlexNet. Это происходит из-за того, что при прямом распространении ошибки, большое количество слоёв “затирает” значения градиента, которые были в первых блоках нейронной сети. Решением данной проблемы является добавление пропускающих слоёв и инициализации весов, которые появились в новой архитектуре ResNet (Residual Network). Она архитектурно представляет собой повторяющееся части макро слоёв СНС. Подобное решение позволяет решать проблему взрывного градиента при построении глубоких сетей, благодаря использованию пропускающих слоёв (Residual Layers) и слою нормализации батча (Batch Normalization, BN). Далее было проведено исследование по определению оптимального числа нейронов ИНС в виде МСП. В процессе исследования был разработан метод оценки числа нейронов, основные этапы которого заключаются в следующем: определяем количество весов (синаптических связей) для произвольного числа слоев МСП с учетом смещений; аппроксимируем линейной функцией зависимость числа нейронов в слоях ИНС от соответствующего номера слоя; определяем количество весовых коэффициентов; подставляем полученные значения аппроксимированных зависимостей числа нейронов в слоях ИНС от соответствующего номера слоя в исходную формулу определяющую количество весов; решаем квадратное уравнение и получаем формулу для оценки количества нейронов в слоях; на основании исходной формулы определяющей количество весов определяем число нейронов в соответствующем слое МСП; определяем минимальное число нейронов в каждом слое, используя формулу для оценки необходимого числа синаптические веса c сигмоидальными передаточными функциями. Для подтверждения правильности расчетов была построена зависимость отношения числа нейронов в первом скрытом слое МСП к числу нейронов скрытого слоя двухслойной ИНС от номера слоя. Следует отметить, что после того, как обученная на тренировочных данных ИНС продемонстрировала хорошие обобщающие способности при разбиении выборки объемом Q векторов (например, 80/20%) на обучающую Qtr и тестовую (верификационную) Qtest, возможно обучение ИНС на всех 100% выборки с целью последующей валидации (на неизвестных данных). Для этого требуется увеличить емкость МСП при соответствующем увеличении объема выборки для обучения. Например, при увеличении объема обучающей выборки на 20% (с 80% от общего объема выборки до 100%) необходимо увеличить количество нейронов в первом слое трехслойной сети на 12%: Представленный подход к построению архитектуры ИНС демонстрирует хорошие результаты по достижению заданного значения целевой функции, определяемого критерием останова при обучении ИНС. В случае необходимости возможна вариация архитектуры ИНС при изменении общего количества весовых коэффициентов (увеличение количества нейронов в скрытых слоях при достижении удовлетворительной точности для решаемой задачи). Таким образом, c целью расчета количества нейронов в слоях ИНС предложен метод оценки числа нейронов для МСП. Предложенный конструктивный метод построения архитектуры МСП позволяет оценить число нейронов в слоях ИНС для обучения эффективным алгоритмом при заданных условиях и ограничениях (например, используя алгоритмы Adam или Левенберга–Марквардта). Собственное разработанное на языке Python программное обеспечение позволило провести предобработку данных и бинарную классификацию всеми рассмотренными классификаторами. Таким образом, в результате теоретического анализа и последующих вычислительных экспериментов было выявлено что, благодаря особенностям своей архитектуры, ResNet наилучшим образом подходит для дальнейшей классификации ЭЭГ сигналов. На основе архитектуры ResNet была разработана модель бинарного классификатора, которая была реализована в разработанном на языке Python программном обеспечении. Далее было проведено исследование по выявлению оптимальных методов оценок качества работы разработанного бинарного классификатора. Применение метрик качества необходимо по нескольким причинам: оценка качества обучения классификатора, для корректировки гиперпараметров. Результат работы бинарного классификатора можно описать через следующие классы: True Positive (TP) – в этот класс относятся все объекты, которым была предсказана метка положительного класса и он таковым на самом деле является; True Negative (TN) – в этот класс относят все объекты, которым была предсказана метка отрицательного класса и он таковым является; False Positive (TP) – в этот класс относят все те объекты, которым была предсказана метка положительного класса, но на самом деле они являются представителями отрицательного класса; False Negative (FN) – в этот класс относятся все те объекты, которым была предсказана метка отрицательного класса, но на самом деле они являются представителями положительного класса. Удобным способом визуализации результатов, описанных выше, является матрица смежности (confusion matrix). В задаче бинарной классификации исследователи стараются добиться результатов, когда значения на главной диагонали сильно больше значений вне её. Одной из используемых метрик интерпретации результатов матрицы смежности является Accuracy, которое описывает отношение верных сделанных предсказаний к общему числу предсказаний. Для обеспечения объективной оценки работы алгоритма в задаче бинарной классификации, используются две меры: точность (Precision) и полноту (Recall). Далее было проведено исследование по применению различных оптимизаторов в задачах бинарной классификации ЭЭГ. Для решения задачи более точной аппроксимации входного тензора существуют алгоритмы оптимизации, базирующие на разных методах: градиентного спуска, адаптивной скоростью обучения и второго порядка. Было проведено предварительное исследование влияния следующих оптимизаторов на результаты классификаций: Стохастический градиентный спуск (Stochastic Gradient Descent, SGD); Adaptive Momentum (ADAM); Алгоритм Бройдена-Флетчера-Голдфарба-Шанно (BFGS); Алгоритм Левенберга-Марквардта. С использованием собственного программного обеспечения написанного на языке Python был проведен ряд вычислительных экспериментов. В результате был проведен расчет метрик «Accuracy», «Precision», «Recall», «F1» для различных архитектур классификаторов (ResNet, Полносвязный персептрон, LDA, Персептрон розенблата). Наилучшие показатели метрик («Accuracy» 68,31%, «Precision» 67,08%, «Recall» 68,80%, «F1» 67,97%) продемонстрировал разработанный нейроклассификатор на основе архитектуры ResNet при использовании оптимизатора ADAM. Таким образом, было проведено исследование нейросетевых и алгоритмически детерминированных классификаторов, методов оптимизации первого и второго порядков. Лучшие показатели метрик, в частности, метрики «F1» удалось достичь с помощью макро слоев сверточной нейронной сети, повторяющиеся части архитектуры, которые состоят из некоторого набора различных слоев, т. е. ResNet с шестнадцатью повторяющимися блоками при использовании оптимизатора первого порядка с адаптивной оптимизации импульсов (ADAM). При использовании других комбинация классификаторов и оптимизаторов, значения метрик показывают флуктуационные значения от 50 % и не могут найти корреляционные отношения между данными, полученными с электродов. Таким образом, комплексные исследования в области разработки теоретических и практических основ асинхронных ИМК для распознавания моторики оператора путем классификации сигналов электроэнцефалограмм с применением СНС, показывают сложность классификации, базирующуюся на апостериорных данных, полученных с ЭЭГ сигналов.