[发明专利]一种虚拟现实交互的游戏型上肢康复训练系统及方法

权利要求书

1.一种虚拟现实交互的游戏型上肢康复训练系统，其特征是：包括RGB摄像模块、红外投影摄像模块、麦克风阵列模块、数据分析处理模块、康复师模块、数据存储模块、人机交互模块；所述RGB摄像模块采集患者真实彩色图像数据，根据所述真实彩色图像数据追踪人体节点信息，并传输至所述数据分析处理模块；所述红外投影摄像模块实时采集患者的深度图像数据，根据深度图像数据识别人体三维动作信息，并将所述人体三维动作信息传输至所述数据分析处理模块和所述数据存储模块；所述麦克风阵列模块采集患者的语音信息并传输至所述数据分析处理模块和所述数据存储模块；所述康复师模块接收患者信息的输入，并根据输入的信息制定患者康复方案传输至所述数据分析处理模块和所述数据存储模块；所述数据分析处理模块根据所接收的人体三维动作信息、语音信息、康复方案处理得到适合相应患者的交互性康复训练游戏，并将所述康复训练游戏传输至所述人机交互模块上；所述数据存储模块存储接收的所述人体节点信息、人体三维动作信息、康复方案；所述人机交互模块的显示界面上显示所述康复训练游戏，患者对着所述显示界面上的康复训练游戏进行相应的操作，所述康复训练动作；

在康复训练开始时，所述RGB摄像模块采集患者的真实彩色图像数据，所述数据分析处理模块对其采集的真实彩色图像数据处理后的身份信息与数据存储模块中存储的身份信息进行匹配，可匹配到一致信息后进行下一步操作。

2.根据权利要求1所述的一种虚拟现实交互的游戏型上肢康复训练系统，其特征是：所述数据分析处理模块对所述真实彩色图像数据追踪的人体节点信息处理为患者对应的身份信息，并将所述身份信息传输至所述数据存储模块中存储。

3.根据权利要求1所述的一种虚拟现实交互的游戏型上肢康复训练系统，其特征是：所述数据分析处理模块对所述人体三维动作信息进行处理为相应的动作轨迹，并与康复训练游戏中设定的动作轨迹进行比较。

4.根据权利要求1所述的一种虚拟现实交互的游戏型上肢康复训练系统，其特征是：所述分析处理模块将输入的语音信息与所述数据存储模块中存储的语音信息进行识别匹配。

5.根据权利要求1至4任一项所述的虚拟现实交互的游戏型上肢康复训练系统实现的一种虚拟现实交互的游戏型上肢康复训练方法，其特征在于，包括如下步骤：

(1)RGB摄像模块采集患者真实彩色图像数据，所述真实彩色图像数据对应人体节点信息，并将所述人体节点信息传输至所述数据分析处理模块；

(2)红外投影摄像模块采集患者的深度图像数据，所述深度图像数据识别人体三维动作信息，所述人体三维动作信息传输至所述数据分析处理模块和存储数据模块中，所述数据分析处理模块对所述人体三维动作信息处理为相应的动作轨迹；

(3)麦克风阵列模块采集患者的语音信息并传输至所述数据分析处理模块和所述数据存储模块；

(4)康复师模块接收患者信息的输入，并根据输入的信息制定患者康复方案传输至所述数据分析处理模块和所述数据存储模块；

(5)所述数据分析处理模块根据所接收的人体三维动作信息、语音信息、康复方案处理得到适合相应患者的交互性康复训练游戏，并将所述康复训练游戏传输至所述人机交互模块上；

(6)患者利用肢体语言或语音对照所述人机交互模块的显示界面上显示的所述康复训练游戏完成对应操作，完成康复训练动作。

6.根据权利要求5所述的一种虚拟现实交互的游戏型上肢康复训练方法，其特征是：步骤(1)中，所述数据分析处理模块人体节点信息处理为对应的身份信息，与所述数据存储模块存储的身份信息进行匹配识别。

7.根据权利要求5所述的一种虚拟现实交互的游戏型上肢康复训练方法，其特征是：步骤(3)中，采集的语音信息用于对患者进行识别，在康复训练过程中，需要语音信息输入时，所述分析处理模块将输入的语音信息与所述数据存储模块中存储的语音信息进行识别匹配。

8.根据权利要求5所述的一种虚拟现实交互的游戏型上肢康复训练方法，其特征是：步骤(5)中，所述数据分析处理模块根据接收的患者三维动作信息与制定的康复训练游戏中需要实现的动作轨迹进行比较，判断患者是否完全完成游戏的动作或是部分完成，并根据判断结果重新制定所述康复训练游戏，并传输至所述人机交互模块。