[发明专利]一种基于多目视觉的手部康复打分设备

权利要求书

1.一种基于多目视觉的手部康复打分设备，其特征在于，包括：双目摄像头、支架、上位机和透明玻璃箱，其中双目摄像头、支架位于透明玻璃箱内部；所述双目摄像头为3个，通过支架固定在透明玻璃箱的顶面和两个相邻的侧面处，通过数据线与上位机通讯；所述上位机接收摄像头采集到的图像数据，处理得到关节坐标数据后，计算关节角度数据输入DNN模型实现对手势的预测，并根据做出正确动作的个数进行打分。

2.根据权利要求1所述的基于多目视觉的手部康复打分设备，其特征在于，每个双目摄像头用来获取手部包括摄像头模块、图像采集模块、图像传输模块；所述摄像头模块通过支架固定并置于图像采集模块上，所述图像采集模块连接图像传输模块，所述图像传输模块通过数据线与上位机通讯。

3.根据权利要求1所述的基于多目视觉的手部康复打分设备，其特征在于，所述上位机包括：信号接收模块、信号处理模块、数据显示模块以及打分模块，其中信号接收模块接收摄像头采集到的图像数据，传输给信号处理模块；所述信号处理模块处理得到的图像，实现特征提取得到关节坐标数据，并将关节坐标数据传至数据显示模块；所述数据显示模块实时显示结果并存储；所述打分模块基于DNN模型实现对手势的预测，并根据做出正确动作的个数进行打分。

4.根据权利要求1所述的基于多目视觉的手部康复打分设备，其特征在于，所述双目摄像头采用型号为3D-1MP02-V92，该型号的摄像头性价比较高，最高有效像素为2560(H)X960(V),可达帧数为60帧。

5.根据权利要求1所述的基于多目视觉的手部康复打分设备，其特征在于，增设摄像头固定装置。

6.一种基于多目视觉的手部康复打分方法，其特征在于，基于权利要求1-5任一项所述的基于多目视觉的手部康复打分设备，实现手部康复打分，步骤如下：

步骤1，设计康复所需的手势

建立5种患手手势，分别为：按压、并指、圆柱握、侧捏、对指；

步骤2，建立数据库以及深度学习模型实现分类

采集5种手势下健康人的人手14关节角度数据，建立5种手势的5个数据库，使用DNN深度学习结构进行建模，对5个数据库分别进行训练，得到5个2输出的训练模型，用于手势预测；

步骤3，对病人的患手进行手势角度实时采集并通过分类器进行预测

将手部放在三个双目摄像头之中，三个双目摄像头对手势图像进行采集，将采集的三个图像数据传输至上位机系统，上位机系统处理三个图像得到关节角度数据，通过DNN模型实现对该手势的预测，并根据患者做出正确动作的个数进行打分。

7.根据权利要求5所述的基于多目视觉的手部康复打分方法，其特征在于，上位机首先通过张正友平面标定法对双目摄像头进行标定，然后通过OpencvSGBM半全局立体匹配算法对传输来的图像进行立体匹配，最终获取手指指骨两端的三维坐标；接着保存三个双目摄像头采到的关节坐标数据分为A、B、C三组，通过加权平均法对三组数据进行融合，得到一组关节坐标数据；最后由以下公式获取关节角度数据，作为手功能康复定量评估标准的系统评估参数，具体公式为：

其中α为所求的患者一个关节角度数据，M1(x1,y1,z1)、M2(x2,y2,z2)是某节指骨A两端的坐标，M2(x2,y2,z2)、M3(x3,y3,z3)是与指骨A相邻的指骨两端的坐标。

8.根据权利要求5所述的基于多目视觉的手部康复打分方法，其特征在于，在DNN模型结构中加入Dropout层，提升模型的泛化能力。