[发明专利]基于混合现实的手功能训练系统及数据处理方法

摘要

本公开提供了一种基于混合现实的手功能训练系统及数据处理方法，利用虚拟现实技术搭建与任务结合的沉浸式虚拟现实环境，记录在任务期间的运动学和动力学数据，从而得出真实可信的手功能评估指标分数。由于该系统能够有效地将现实空间中的物理实体操作与虚拟空间中的虚拟任务操作相结合，突破了传统VR技术缺乏接触反馈的局限，可极大地提高训练过程中的临场感和趣味性，同时可以在记录手部运动学参数的基础上，准确地记录现实空间中手部接触物体时的手指力/力矩等动力学信号，为精准评估手功能提供了准确可靠的信号。

主权项

1.基于混合现实的手功能训练系统，其特征是：包括测试装置、位姿采集装置和虚拟现实平台，其中：所述测试装置包括至少一抓握部件和多个传感器，所述抓握部件包括一中空的壳体，所述壳体具有至少两个弧形区域和凹部，第一弧形区域设置有至少一力/力矩传感器，第二弧形区域设置有至少四个并排设置的力/力矩传感器；所述凹部与所述弧形区域不在同一平面上；所述力/力矩传感器用于接收对应手指的抓握信息，并上传至所述虚拟现实平台；所述位姿采集装置，包括若干拍摄现实场景图像和物理实体位置、姿态图像的图像采集设备，所述物理实体包括手/手臂和待抓握物体；所述虚拟现实平台，包括处理器和虚拟现实设备，所述处理器接收所述现实场景图像，形成具有形状匹配性的虚拟物体，并将物理实体的准确位置和姿态数据映射到虚拟空间的虚拟物体上，反馈至虚拟现实设备上，使虚实物体间形成位置和姿态的实时准确匹配；根据所述抓握信息得到各手指的抓握参数。