CN115935271A
审中
基于多频空间混合编码的脑图谱诱发和分类方法及系统
技术领域
[0001]本发明属于生物医学工程中脑机接口技术领域，尤其涉及基于多频空间混合编码的脑图谱诱发和分类方法及系统。
背景技术
[0002]脑机接口(brain-computerinterface,BCI)将人类的大脑活动转化为信号，在人脑和外部设备之间建立直接的通信，而不依赖于周围神经系统和肌肉组织。BCI技术允许严重运动障碍患者与外部设备进行沟通和控制，从而提高这些患者的生活质量。在目前的研究中，已经对通过BCI进行机器控制的概念进行了研究，包括生活环境控制、轮椅以及各种康复和辅助设备等。神经科学、计算机技术和机器人技术的最新进展，可以实现通过大脑直接控制外部终端设备。
[0003]近年来，基于无创的头皮脑电图(EEG)脑机接口系统已成为研究的热点。事件相关电位(ERP)、mu和β节律的事件相关同步(ERS)和去同步(ERD)，以及视觉诱发电位(VEP)是许多研究中常用的典型电生理信号。其中基于视觉诱发电位(VEP)的脑机接口因其潜在的高信息传输率(ITR)而受到广泛关注。基于稳态诱发电位(steady-statevisualevokedpotential,SSVEP)的脑机接口是基于VEP的脑机接口的一个重要范例，由于其高ITR和高信噪比(SNR)而得到了广泛的应用。稳态视觉诱发电位(SSVEP)是一种脑电图采集方法。视觉刺激源以特定频率闪烁，当受试者注视刺激源时，大脑会做出反应。凝视这些视觉刺激会影响视觉通路，从而在人脑中产生这种频率，并产生具有基频和谐波频率的电信号。
[0004]在传统的基于频率编码的SSVEP-BCI系统中，每个刺激源都以特定的频率闪烁，然后根据枕区脑电信号的特征识别相应控制指令。频率编码方法的一个缺点是由于每个视觉刺激目标都必须通过特定的频率闪烁进行编码，刺激目标频率受显示器刷新频率限制，导致视觉刺激目标范围有限，编码效率较低。此外，受试者长时间注视对比度高、屏幕占比大的黑白反转闪烁刺激，会产生强烈的视觉疲劳和不适感。空间编码的SSVEP-BCI利用脑电信号的空间分布解码相关空间信息，对刺激频率的依赖性较低，对刺激目标的灵活性更高。但目前空间编码SSVEP-BCI的研究多集中于概念证明，仅使用了单一的闪烁刺激，且对于距视觉中心较远的刺激分类准确性较低。
发明内容
[0005]本发明的目的在于提出基于多频空间混合编码的脑图谱诱发和分类方法及系统，采用同心圆环形视觉刺激范式，将频率编码与空间编码方式结合，解决频率编码效率低、刺激目标范围有限，空间编码模式较为单一、分类准确性低等问题，提高分类性能、扩展分类维度，同时实现在线的脑电信号特征分类。
[0006]一方面为实现上述目的，本发明提供了基于多频空间混合编码的脑图谱诱发和分类方法，包括以下步骤：
[0007]设置视觉诱发方式，构建多频率空间混合编码脑电数据库；
[0008]基于所述多频率空间混合编码脑电数据库，利用空间相关性分类算法提取脑图谱空间特征；
[0009]构建用户多频率空间特征分类模型，利用所述脑图谱空间特征对所述用户多频率空间特征分类模型进行训练，获得训练好的用户多频率空间特征分类模型；
[0010]将在线采集的脑图谱空间特征输入所述训练好的用户多频率空间特征分类模型，完成多频空间混合编码的脑图谱分类。
[0011]可选的，所述视觉诱发方式包括：
[0012]构建多频率空间混合编码同心圆环形视觉刺激范式；
[0013]基于所述多频率空间混合编码同心圆环形视觉刺激范式，对受试者进行视觉诱发。
[0014]可选的，构建所述多频率空间混合编码同心圆环形视觉刺激范式包括：
[0015]采用若干个不同半径的同心圆环作为刺激图案，对所述刺激图案按照每个同心圆环半径的不同采用不同频率闪烁，完成多频率空间混合编码。
[0016]可选的，对所述刺激图案按照每个同心圆环半径的不同采用不同频率闪烁的方法包括：
[0017]采用正弦编码法计算所述刺激图案中每个同心圆环的灰度值，每个同心圆环根据所述每个同心圆环的灰度值不同进行不同频率渐进变化，则若干个不同半径的同心圆环进行不同频率闪烁。
[0018]可选的，采用正弦编码法计算所述刺激图案中每个同心圆环的灰度值，计算如下，
[0019]
[0020]其中，s(f,Φ,k)为每个同心圆环的灰度值，f和Φ分别为刺激频率和相位，k为帧数。
[0021]可选的，构建多频率空间混合编码脑电数据库包括：
[0022]采集受试者的多频率空间混合编码的稳态视觉诱发脑电信号，基于所述多频率空间混合编码的稳态视觉诱发脑电信号，构建所述多频率空间混合编码脑电数据库。
[0023]可选的，基于所述多频率空间混合编码脑电数据库，利用空间相关性分类算法提取脑图谱空间特征的方法包括：
[0024]构建空间滤波器，基于所述空间滤波器对所述脑电信号进行空间滤波，获得脑电信号的时间序列；
[0025]基于所述脑电信号的时间序列构造相同长度的正余弦参考信号，根据权重系数获得所述脑电信号的时间序列与所述正余弦参考信号的相关系数最大，此时提取脑电信号的脑图谱空间特征。
[0026]另一方面为实现上述目的，本发明提供了基于多频空间混合编码的脑图谱诱发和分类系统，包括：脑机接口视觉诱发模块、脑电数据采集模块、脑电特征分类模块和脑电特征识别模块，所述脑机接口视觉诱发模块、所述脑电数据采集模块、所述脑电特征分类模块和所述脑电特征识别模块电性连接；
[0027]所述脑机接口视觉诱发模块用于对受试者进行视觉诱发；
[0028]所述脑电数据采集模块用于采集受试者对多频率空间混合编码同心圆环形视觉刺激诱发产生的脑电信号；
[0029]所述脑电特征分类模块用于将诱发产生的脑电信号进行分类，获得视觉目标频率空间混合编码位置特征；
[0030]所述脑电特征识别模块用于识别受试者脑电信号的频率空间特征，构建脑电信号相应特征与多频率空间混合编码视觉诱发模块的联系。
[0031]可选的，所述脑电特征分类模块还包括脑电特征提取单元和分类训练单元，所述脑电特征提取单元和所述分类训练单元连接；
[0032]所述脑电特征提取单元，利用空间相关性分类算法对多频率空间混合编码脑电数据中的脑电信号进行特征提取；
[0033]所述分类训练单元，将各频率空间混合编码位置特征与受试者诱发脑电信号频谱特征输入分类器，利用支持向量机算法对分类器进行训练，实现对受试者脑电特征与多频率空间混合编码视觉诱发模块位置特征的分类。
[0034]本发明技术效果：本发明公开了基于多频空间混合编码的脑图谱诱发和分类方法及系统，解决了频率编码效率低、刺激目标范围有限，空间编码模式较为单一、分类准确性低等问题，提高分类性能、扩展分类维度，同时实现在线的脑电信号特征分类。
附图说明
[0035]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0036]图1为本发明实施例基于多频空间混合编码的脑图谱诱发和分类方法流程示意图；
[0037]图2为本发明实施例基于多频空间混合编码的脑图谱视觉刺激范式示意图；
[0038]图3为本发明实施例基于多频空间混合编码的脑图谱空间特征数据库建立重复实验范式示意图；
[0039]图4为本发明实施例基于多频空间混合编码的脑图谱诱发和分类系统示意图。
具体实施方式
[0040]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0041]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0042]如图1-4所示，本实施例中提供基于多频空间混合编码的脑图谱诱发和分类方法，包括以下步骤：
[0043]设置视觉诱发方式，构建多频率空间混合编码脑电数据库；
[0044]基于所述多频率空间混合编码脑电数据库，利用空间相关性分类算法提取脑图谱空间特征；
[0045]构建用户多频率空间特征分类模型，利用所述脑图谱空间特征对所述用户多频率空间特征分类模型进行训练，获得训练好的用户多频率空间特征分类模型；
[0046]将在线采集的脑图谱空间特征输入所述训练好的用户多频率空间特征分类模型，完成多频空间混合编码的脑图谱分类。
[0047]采用稳态视觉诱发电位的脑机接口方法，呈现多频率空间混合编码同心圆环形视觉刺激源，如图2所示，以五个不同半径的同心圆环作为刺激图案，五个不同半径的圆环分别采用不同的闪烁频率，从内到外分别为4.62Hz、5Hz、5.45Hz、6Hz、6.67Hz。不同半径、频率的圆环自由组合，如图3所示，实现频率、空间混合编码，共31种视觉诱发方式。利用正弦编码法改变刺激圆环的灰度值，使得不同半径的圆环灰度值按照不同频率渐进变化，达到不同闪烁频率的效果。公式为：
其中f和Φ分别为刺激频率和相位，k为帧数；F为屏幕刷新率(60Hz)。本发明视觉刺激采用频率编码方法，相位Φ设置为零。刺激器利用MATLAB的Psychophysics Toolbox工具箱，呈现不同半径、不同闪烁频率的同心圆环自由组合进行闪烁，每个圆环的半径和闪烁频率固定，不同的刺激组合可诱发不同特征脑电信号。
[0048]受试者在多频率、空间混合编码刺激下，均需注视圆环圆心，并使其位于视野中心。对受试者进行4.62Hz、5Hz、5.45Hz、6Hz、6.67Hz的五个圆环分别自由组合产生视觉刺激的离线数据采集，并对不同受试者进行重复实验，利用空间相关性分类算法对多频率空间混合编码脑电数据中的脑电信号进行特征提取，建立多频率空间混合编码脑电数据库。将各视觉刺激目标的频率、空间位置信息输入分类器中，利用支持向量机对分类器进行训练。
[0049]本发明实施例提供了基于多频空间混合编码的脑图谱诱发和分类系统，该系统包括：
[0050]基于多频率空间混合编码的脑机接口视觉诱发模块，用于呈现多频率空间混合编码同心圆环形视觉刺激源；
[0051]脑电数据采集模块，用于采集受试者对多频率空间混合编码同心圆环形视觉刺激诱发产生的脑电信号；
[0052]脑电特征分类模块，用于对采集到的脑电信号进行放大、滤波、降采样、数模转换等处理，利用空间相关性分类算法对多频率空间混合编码脑电数据中的脑电信号进行特征提取与分类。
[0053]空间相关性分类算法分为以下三个阶段：
[0054](1)对脑电信号进行空间滤波
[0055]由于脑电信号的非平稳性与强噪声性，因此有必要设计出一种空间滤波器来对脑电信号进行空间滤波处理，增强脑电信号的差异性，提高信号分类的准确率。对于多通道视觉诱发的N*T脑电信号Ui，N为脑电通道数，T为每个通道的采样数，归一化后的混合空间协方差为
[0056]
[0057]其中E0是特征向量矩阵，λ是特征值对角矩阵。此时白化特征值矩阵为
[0058]
[0059]对每类信号的协方差矩阵进行变换和主分量分解，得
[0060]Ci＝WλiWT
[0061]对其进行特征值分解，Ci＝EiΛiEiT，构造基于特征向量矩阵Ei与白化特征值矩阵W的空间滤波器
[0062]
[0063](2)提取空间相关性特征
[0064]该阶段的目的是找出两组数据间潜在的相关性，为每组数据计算一个线性投影，使他们在降维空间中具有最大的相关性。令空间滤波处理后脑电信号时间序列为矩阵Zi＝FUi，构造相同长度的正余弦参考信号
其中i为刺激目标数，fs为视觉刺激频率，Nt为采样点数。
[0065]寻找两个权重系数ω,v使得Zi和Yi的相关系数
最大，选取与分析脑电信号相关度最大的参考信号的刺激频率ft＝max(ρi),i＝1,2,…,N作为SSVEP的频率。
[0066](3)训练脑电信号分类模型
[0067]SVM是一种具有良好泛化能力的机器学习算法，在现有的脑机接口系统应用中，SVM算法不仅可以应用于二元分类领域，还可以应用于多元分类领域。SVM的基本原理是在是两种目标间隔距离尽可能大的前提下寻找一个最优超平面，达到良好的分类目的。
[0068]令每个通道的特征系数构成特征向量
将特征提取的结果
和受试者诱发模块视觉目标频率、空间混合编码位置特征输入分类器，采用高斯核函数
映射到可以通过超平面来分离两类数据的平面，此时的超平面方程为
其中σ表示带宽，b为偏移量，并尽可能最大化边距离，实现对受试者脑电特征与多频率空间混合编码视觉诱发模块位置特征的分类。
[0069]脑电特征识别模块，用于识别受试者脑电信号的频率空间特征，建立脑电信号相应特征与多频率空间混合编码视觉诱发模块的联系。
[0070]如图4所示，本发明提供了基于多频空间混合编码的脑图谱诱发和分类设备，包括多频率空间混合编码同心圆环形视觉刺激范式显示器设备，脑电采集设备，与脑电采集设备连接的存储器，可读取通过数据流LSL协议传输实时信号的处理器，执行脑电特征分类算法与分类器训练的运算程序。
[0071]以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
[0020]其中，s(f,Φ,k)为每个同心圆环的灰度值，f和Φ分别为刺激频率和相位，k为帧数。
[0021]可选的，构建多频率空间混合编码脑电数据库包括：
[0022]采集受试者的多频率空间混合编码的稳态视觉诱发脑电信号，基于所述多频率空间混合编码的稳态视觉诱发脑电信号，构建所述多频率空间混合编码脑电数据库。
[0023]可选的，基于所述多频率空间混合编码脑电数据库，利用空间相关性分类算法提取脑图谱空间特征的方法包括：
[0024]构建空间滤波器，基于所述空间滤波器对所述脑电信号进行空间滤波，获得脑电信号的时间序列；
[0025]基于所述脑电信号的时间序列构造相同长度的正余弦参考信号，根据权重系数获得所述脑电信号的时间序列与所述正余弦参考信号的相关系数最大，此时提取脑电信号的脑图谱空间特征。
[0026]另一方面为实现上述目的，本发明提供了基于多频空间混合编码的脑图谱诱发和分类系统，包括：脑机接口视觉诱发模块、脑电数据采集模块、脑电特征分类模块和脑电特征识别模块，所述脑机接口视觉诱发模块、所述脑电数据采集模块、所述脑电特征分类模块和所述脑电特征识别模块电性连接；
[0027]所述脑机接口视觉诱发模块用于对受试者进行视觉诱发；
[0028]所述脑电数据采集模块用于采集受试者对多频率空间混合编码同心圆环形视觉刺激诱发产生的脑电信号；
[0029]所述脑电特征分类模块用于将诱发产生的脑电信号进行分类，获得视觉目标频率空间混合编码位置特征；
[0030]所述脑电特征识别模块用于识别受试者脑电信号的频率空间特征，构建脑电信号相应特征与多频率空间混合编码视觉诱发模块的联系。
[0031]可选的，所述脑电特征分类模块还包括脑电特征提取单元和分类训练单元，所述脑电特征提取单元和所述分类训练单元连接；
[0032]所述脑电特征提取单元，利用空间相关性分类算法对多频率空间混合编码脑电数据中的脑电信号进行特征提取；
[0033]所述分类训练单元，将各频率空间混合编码位置特征与受试者诱发脑电信号频谱特征输入分类器，利用支持向量机算法对分类器进行训练，实现对受试者脑电特征与多频率空间混合编码视觉诱发模块位置特征的分类。
[0034]本发明技术效果：本发明公开了基于多频空间混合编码的脑图谱诱发和分类方法及系统，解决了频率编码效率低、刺激目标范围有限，空间编码模式较为单一、分类准确性低等问题，提高分类性能、扩展分类维度，同时实现在线的脑电信号特征分类。
附图说明
[0035]构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0036]图1为本发明实施例基于多频空间混合编码的脑图谱诱发和分类方法流程示意图；
[0037]图2为本发明实施例基于多频空间混合编码的脑图谱视觉刺激范式示意图；
[0038]图3为本发明实施例基于多频空间混合编码的脑图谱空间特征数据库建立重复实验范式示意图；
[0039]图4为本发明实施例基于多频空间混合编码的脑图谱诱发和分类系统示意图。
具体实施方式
[0040]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0041]需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0042]如图1-4所示，本实施例中提供基于多频空间混合编码的脑图谱诱发和分类方法，包括以下步骤：
[0043]设置视觉诱发方式，构建多频率空间混合编码脑电数据库；
[0044]基于所述多频率空间混合编码脑电数据库，利用空间相关性分类算法提取脑图谱空间特征；
[0045]构建用户多频率空间特征分类模型，利用所述脑图谱空间特征对所述用户多频率空间特征分类模型进行训练，获得训练好的用户多频率空间特征分类模型；
[0046]将在线采集的脑图谱空间特征输入所述训练好的用户多频率空间特征分类模型，完成多频空间混合编码的脑图谱分类。
[0047]采用稳态视觉诱发电位的脑机接口方法，呈现多频率空间混合编码同心圆环形视觉刺激源，如图2所示，以五个不同半径的同心圆环作为刺激图案，五个不同半径的圆环分别采用不同的闪烁频率，从内到外分别为4.62Hz、5Hz、5.45Hz、6Hz、6.67Hz。不同半径、频率的圆环自由组合，如图3所示，实现频率、空间混合编码，共31种视觉诱发方式。利用正弦编码法改变刺激圆环的灰度值，使得不同半径的圆环灰度值按照不同频率渐进变化，达到不同闪烁频率的效果。公式为：其中f和Φ分别为刺激频率和相位，k为帧数；F为屏幕刷新率(60Hz)。本发明视觉刺激采用频率编码方法，相位Φ设置为零。刺激器利用MATLAB的Psychophysics Toolbox工具箱，呈现不同半径、不同闪烁频率的同心圆环自由组合进行闪烁，每个圆环的半径和闪烁频率固定，不同的刺激组合可诱发不同特征脑电信号。
[0048]受试者在多频率、空间混合编码刺激下，均需注视圆环圆心，并使其位于视野中心。对受试者进行4.62Hz、5Hz、5.45Hz、6Hz、6.67Hz的五个圆环分别自由组合产生视觉刺激的离线数据采集，并对不同受试者进行重复实验，利用空间相关性分类算法对多频率空间混合编码脑电数据中的脑电信号进行特征提取，建立多频率空间混合编码脑电数据库。将各视觉刺激目标的频率、空间位置信息输入分类器中，利用支持向量机对分类器进行训练。
[0049]本发明实施例提供了基于多频空间混合编码的脑图谱诱发和分类系统，该系统包括：
[0050]基于多频率空间混合编码的脑机接口视觉诱发模块，用于呈现多频率空间混合编码同心圆环形视觉刺激源；
[0051]脑电数据采集模块，用于采集受试者对多频率空间混合编码同心圆环形视觉刺激诱发产生的脑电信号；
[0052]脑电特征分类模块，用于对采集到的脑电信号进行放大、滤波、降采样、数模转换等处理，利用空间相关性分类算法对多频率空间混合编码脑电数据中的脑电信号进行特征提取与分类。
[0053]空间相关性分类算法分为以下三个阶段：
[0054](1)对脑电信号进行空间滤波
[0055]由于脑电信号的非平稳性与强噪声性，因此有必要设计出一种空间滤波器来对脑电信号进行空间滤波处理，增强脑电信号的差异性，提高信号分类的准确率。对于多通道视觉诱发的N*T脑电信号Ui，N为脑电通道数，T为每个通道的采样数，归一化后的混合空间协方差为
[0056]
[0057]其中E0是特征向量矩阵，λ是特征值对角矩阵。此时白化特征值矩阵为
[0058]
[0059]对每类信号的协方差矩阵进行变换和主分量分解，得
[0060]Ci＝WλiWT
[0061]对其进行特征值分解，Ci＝EiΛiEiT，构造基于特征向量矩阵Ei与白化特征值矩阵W的空间滤波器
[0062]
[0063](2)提取空间相关性特征
[0064]该阶段的目的是找出两组数据间潜在的相关性，为每组数据计算一个线性投影，使他们在降维空间中具有最大的相关性。令空间滤波处理后脑电信号时间序列为矩阵Zi＝FUi，构造相同长度的正余弦参考信号其中i为刺激目标数，fs为视觉刺激频率，Nt为采样点数。
[0065]寻找两个权重系数ω,v使得Zi和Yi的相关系数最大，选取与分析脑电信号相关度最大的参考信号的刺激频率ft＝max(ρi),i＝1,2,…,N作为SSVEP的频率。
[0066](3)训练脑电信号分类模型
[0067]SVM是一种具有良好泛化能力的机器学习算法，在现有的脑机接口系统应用中，SVM算法不仅可以应用于二元分类领域，还可以应用于多元分类领域。SVM的基本原理是在是两种目标间隔距离尽可能大的前提下寻找一个最优超平面，达到良好的分类目的。
[0068]令每个通道的特征系数构成特征向量将特征提取的结果和受试者诱发模块视觉目标频率、空间混合编码位置特征输入分类器，采用高斯核函数映射到可以通过超平面来分离两类数据的平面，此时的超平面方程为其中σ表示带宽，b为偏移量，并尽可能最大化边距离，实现对受试者脑电特征与多频率空间混合编码视觉诱发模块位置特征的分类。
[0069]脑电特征识别模块，用于识别受试者脑电信号的频率空间特征，建立脑电信号相应特征与多频率空间混合编码视觉诱发模块的联系。
[0070]如图4所示，本发明提供了基于多频空间混合编码的脑图谱诱发和分类设备，包括多频率空间混合编码同心圆环形视觉刺激范式显示器设备，脑电采集设备，与脑电采集设备连接的存储器，可读取通过数据流LSL协议传输实时信号的处理器，执行脑电特征分类算法与分类器训练的运算程序。
[0071]以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。
