[发明专利]一种基于姿态识别的针对人手部的三维建模系统

权利要求书

1.一种基于姿态识别的针对人手部的三维建模系统，其特征在于，所述系统包括：

数据采集模块，通过摄像头采集手势图片；

手部检测分割模块，检测出图像中手部位置，并分割出手部区域；

手势识别模块，提取特征，并识别出手势类别；

建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；

检测模块，将建立好的模型与数据采集模块采集的图像进行对比；

所述手势识别模块包括静态手势识别和动态手势识别，所述动态手势识别为多模态动态手势识别。

2.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述多模态动态手势识别采用三维隐形状模型建模各模态特征的时空结构信息，通过一致性投票将特征映射至统一的概率空间，形成对各帧动作时空分布的概率估计。

3.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深度图，得到的编码作为手姿态的隐空间表征，最后利用全连接网络直接回归到关节位置。

4.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述数据采集模块包含多个信号采集摄像机，通过不同角度对手部进行拍摄，然后将图片信息传递至手部检测分割模块，对信息进行处理保存。

5.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述手部检测分割模块采用人体骨架算法检测得到手腕关节点分割深度图，以离用户较近部分的深度数据作为手部区域。

6.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述建模单元根据三维点云计算空间位置，得到空间位置数据，根据空间位置数据和图像信息对待建模对象进行建模，生成手部三维模型。

7.根据权利要求1所述的一种基于姿态识别的针对人手部的三维建模系统，其特征在于：所述检测模块包括数据处理器，且数据处理器与数据采集模块电性连接，将生成的手部三维模型与数据处理器中预置的对象进行对比，生成对比结果。