[发明专利]基于多模态刺激和神经网络的手部训练评估方法和设备

说明书

本发明公开了一种基于多模态刺激和神经网络的手部训练评估方法和设备，其中方法包括：采集用户的脑电信号；为用户呈现多模态的康复训练刺激；云端分析模块进行分析得到用户的控制意图及大脑状态指标；由手部外骨骼带动用户的手指进行康复训练；通过神经网络算法给出用户运动能力的量化评价指标，从而实现用户手指部位的康复训练。本申请结合了脑机接口、多模态反馈和机器人技术等多种技术手段，通过多模态刺激和神经网络模型解决了实际应用中存在的用户交互体验低、控制准确率低和控制延迟高的问题。

技术领域

本发明属于数据处理技术领域，特别是涉及基于多模态刺激和神经网络的手部训练评估方法和设备。

背景技术

脑中风，学名是脑卒中，是一种特别普遍的老年人疾病。每年有数百万因中风去世，并且这个数字还在逐年递增。脑卒中患者的手指部位精细康复训练，一直是康复行业的痛点和难点。老年人因为中风的感觉障碍症状，而导致他们的手部无法正常使用，给他们的生活带来了特别大的不便。这些老年人生活无法自理，不仅消耗家人精力，自尊心也备受打击。

脑卒中并非没有康复训练方案，当前医院脑卒中大多采用人力辅助的方式进行康复训练，国内外的同类产品也基本采用触摸控制、语音控制、健侧镜像控制的方式，康复效率较低，康复效果并不理想。近些年来，随着脑机接口方案的提出与发展，多项科学研究证明，脑卒中患者有望通过脑机接口技术辅助患者进行康复训练，从而达到缓解症状的目的。

脑机接口是一种通过直接与人脑相连的计算机接口来实现人机交互的技术。脑机接口基于对人脑和神经系统的理解，通过记录脑电图、脑磁图、功能磁共振成像和其他神经信号，将人脑活动转换为可控制计算机或其他外部设备的指令。这些指令可以用于许多不同的应用程序，包括假肢控制、游戏、虚拟现实、心理疗法和认知增强等领域。虽然脑机接口已经能够用于简单的外部设备控制，但是在实际应用中仍然存在着控制准确率低、控制延迟高、用户交互体验低的缺陷。

发明内容

本发明的目的在于解决手部脑机接口康复训练中存在的控制准确率低、控制延迟高、用户交互体验低的缺陷，提供一种基于多模态刺激和神经网络的手部训练评估方法和设备。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

基于多模态刺激和神经网络的手部训练评估方法，包括：

遵循国际标准10-20系统，为用户佩戴脑电采集设备以确保能够记录到准确的脑电信号；

多模态刺激模块为用户呈现多模态的康复训练刺激，通过多模态的刺激诱发出用户的特征性脑电信号，同时记录下脑电信号；

将记录得到的脑电采集信号发送到云端分析模块进行分析处理，分析得到用户的控制意图及大脑状态指标；

将所述用户的控制意图及大脑状态指标发送给手部外骨骼模块，由手部外骨骼执行运动指令，带动用户的手指进行康复训练；

在患者进行康复训练的同时，使用高清双目摄像头采集手部画面，将画面回传到云端分析模块进行分析处理；

使用部署在云端分析模块的人工智能算法对整个训练过程中采集到的手部画面进行骨骼点标注，同时生成三维空间的手指骨骼点位置坐标，实现三维手指建模，从而给出用户运动能力的量化评价指标；

通过对多次训练中的所述用户运动能力的量化评价指标进行时域分析，从而得到用户的康复效果曲线，判断用户是否满足康复标准。

在上述方案中，所述多模态刺激包括：视觉刺激、听觉刺激、触觉刺激和混合刺激。所述多模态刺激可以在虚拟现实、增强现实、混合现实、真实场景中呈现给用户。所述多模态刺激以一定的编码方案进行呈现给用户，用户在感知到刺激之后，会诱发出特异性的脑电信号。所述编码方案包括正弦编码、高斯编码、二进制编码和其它编码。所述多模态刺激可以为用户提供个性化的手部康复训练方案，适应了不同用户的差异化需求，解决了实际应用中存在的用户交互体验低的缺陷。

在上述方案中，所述云端分析模块有两种分析算法。