[发明专利]基于多模态刺激和神经网络的手部训练评估方法和设备

权利要求书

1.基于多模态刺激和神经网络的手部训练评估方法，其特征在于，包括以下步骤：

遵循国际标准10-20系统，为用户佩戴脑电采集设备以确保能够记录到准确的脑电信号；

多模态刺激模块为用户呈现多模态的康复训练刺激，通过多模态的刺激诱发出用户的特征性脑电信号，同时记录下脑电信号；

将记录得到的脑电采集信号发送到云端分析模块进行分析处理，分析得到用户的控制意图及大脑状态指标；

将所述用户的控制意图及大脑状态指标发送给手部外骨骼模块，由手部外骨骼执行运动指令，带动用户的手指进行康复训练；

在患者进行康复训练的同时，使用高清双目摄像头采集手部画面，将画面回传到云端分析模块进行分析处理；

使用部署在云端分析模块的人工智能算法对整个训练过程中采集到的手部画面进行骨骼点标注，同时生成三维空间的手指骨骼点位置坐标，实现三维手指建模，从而给出用户运动能力的量化评价指标；

通过对多次训练中的所述用户运动能力的量化评价指标进行时域分析，从而得到用户的康复效果曲线，判断用户是否满足康复标准。

2.根据权利要求1所述的多模态刺激模块所呈现的多模态刺激包括：视觉刺激、听觉刺激、触觉刺激和混合刺激。所述多模态刺激可以在虚拟现实、增强现实、混合现实、真实场景中呈现给用户。所述多模态刺激以一定的编码方案进行呈现给用户，用户在感知到刺激之后，会诱发出特异性的脑电信号。所述编码方案包括正弦编码、高斯编码、二进制编码和其它编码。

3.根据权利要求1所述的云端分析模块有两种分析算法。第一种分析算法用于对特异性的脑电信号进行分析解码，使用时空相多源神经网络进行分析解码得到用户的控制意图及大脑状态指标。所述时空相多源神经网络的计算过程如下：（1）将所述特异性的脑电信号从时间域转换到频域，得到频率参数，将频率参数归一化到0-1之间；（2）计算所述特异性的脑电信号的相干性参数，用于衡量不同通道脑电信号之间的线性关系的统计量，将相干性参数归一化到0-1之间；（3）计算所述特异性的脑电信号的相位同步指数参数，用于衡量不同通道脑电信号之间的在相位上的同步程度，将相位同步指数参数归一化到0-1之间；（4）计算所述特异性的脑电信号的时间频率相干性参数，用于衡量用于评估不同频率带中两个信号之间的相位同步度，之后将相干性计算扩展到不同时间和频率窗口上，以获得更全面的时间和频率信息，最将时间频率相干性参数归一化到0-1之间；（5）计算所述特异性的脑电信号的相位延迟估计参数，用于衡量不同通道脑电信号之间的相位关系的非线性特性，将相位延迟估计参数归一化到0-1之间；（6）将（1）-（5）中涉及到的所述频率参数、所述相干性参数、所述相位同步指数参数、所述时间频率相干性参数和所述相位延迟估计参数组合得到时空相多源参数；（7）将所述时空相多源参数输入到所述时空相多源神经网络中进行训练，得到所述用户的控制意图及大脑状态指标。所述时空相多源神经网络共分为六层，分别为：卷积层，输入数据通过一层卷积层进行特征提取和降维，这个卷积层包含多个卷积核，每个卷积核的大小和步长可以不同。这一层的输出数据可以看作是特征映射；胶囊层，使用胶囊网络提取特征并计算特征的相似度，将特征映射转换为胶囊向量，每个胶囊向量可以表示不同的特征，并使用动态路由算法计算不同特征的相似度；注意力层，通过引入注意力机制，加强胶囊层的特征提取能力，在这一层中，每个胶囊向量都被赋予不同的权重，以使其能够集中关注对任务最有用的特征；LSTM层，输入经过前面的特征提取和注意力机制后，通过LSTM层进行时间序列建模，LSTM层包含多个LSTM单元，每个LSTM单元用于处理一个时间步长的输入数据，以获得更好的时间序列建模效果；全连接层，使用全连接层将LSTM层的输出映射到最终的输出空间，以进行分类、回归等任务。第二种分析算法用于对双目摄像头采集得到的用户手部摄像头画面进行分析处理，使用手部运动能力预测神经网络得到用户运动能力的量化评价指标。所述手部运动能力预测神经网络计算过程如下：（1）数据收集，首先，需要收集用户手部骨骼点的标注数据，以便进行监督学习。同时，还需要对手部运动能力进行量化评价，例如使用手部功能评定表等评估工具，以获取手部运动能力的量化指标作为目标标签；（2）输入数据，输入数据是一系列手部姿势图像，每个图像都包含手部骨骼点的位置信息；（3）卷积神经网络，输入数据通过一系列卷积层和池化层进行特征提取和降维，以获取输入图像的低层次特征和高层次特征；（4）LSTM神经网络，卷积神经网络的输出将作为LSTM网络的输入，用于考虑输入数据的时间序列关系。在手部骨骼点识别任务中，LSTM网络可以处理输入数据的动态变化；（5）注意力机制，在LSTM网络输出的每个时间步长中，使用注意力机制对输入数据的不同部分进行加权，以提高对手部骨骼点的识别效果；（6）LSTM网络，LSTM网络的输出将进一步通过全连接层进行特征提取和分类。全连接层可以将LSTM输出的向量映射到骨骼点的位置坐标，从而实现手部骨骼点的识别；（7）功能评价预测层，在全连接层的基础上，增加一个输出用户手部运动能力评价指标的预测层。该层的输出是一个标量值，表示用户手部运动能力的量化评价指标；（8）损失函数，为了优化网络的参数，需要设计一个适合手部运动能力评价预测的损失函数。通常可以使用均方误差、平均绝对误差或交叉熵等损失函数；（9）训练和测试，在训练阶段，使用标注好的手部骨骼点和手部运动能力评价数据进行监督学习，优化网络参数。在测试阶段，输入新的手部姿势图像，网络将输出对应的手部骨骼点的位置坐标，并同时输出相应的手部运动能力评价指标。