[发明专利]一种基于姿态识别的针对人手部的三维建模系统

说明书

本发明提供一种基于姿态识别的针对人手部的三维建模系统，涉及三维建模技术领域，系统包括数据采集模块，通过摄像头采集手势图片；手部检测分割模块，检测出图像中手部位置，并分割出手部区域；手势识别模块，提取特征，并识别出手势类别；建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；检测模块，将建立好的模型与数据采集模块采集的图像进行对比；手势识别模块包括静态手势识别和动态手势识别，动态手势识别为多模态动态手势识别，通过基于多视图投影的无监督隐空间表征学习来提取有效信息，解决了手势描述的不连续和丢失手势保持时期信息的问题，使三维建模更加准确。

技术领域

本发明涉及三维建模技术领域，具体为一种基于姿态识别的针对人手部的三维建模系统。

背景技术

基于图像的三维建模包括图像采集、稀疏重建、点云编辑、稠密重建、网络构建、纹理映射和模型编辑等多个步骤，现有生产普遍采用单个作业人员使用单台电脑独立完成全部步骤的方式，既包括稀疏重建、稠密重建等计算机自动化处理的步骤，又包括点云编辑、模型编辑等需要人工大量交互的步骤，其中，不同的建模步骤对作业人员的专业素养和技能水平要求不同，采用单个作业人员完成全流程处理对作业人员的要求很高，并且计算机长时间自动处理的步骤会造成人工的极大浪费，从而造成生产效率低下，难以降低三维建模的生产成本，从而无法保证企业的市场竞争力。

根据专利号为CN108921426A，一种三维建模方法及系统，方法包括：采集目标建模物品的原始数据，对原始数据进行共享存储，并添加相应的建模任务列表；根据建模任务列表和当前已登录的初模生产终端任务处理情况进行负载均衡，选择合适的生产终端派发初模任务；接收初模任务的作业人员，读取原始数据并根据建模要求进行初模生产，形成初模成果后进行初模任务提交；任务分发软件接收初模任务后，根据当前已登录的精模生产终端任务处理情况进行精模任务派发；接收到精模任务后，精模任务作业人员获取存储的初模成果，并根据初模成果进行精模生产形成精模成果，并进行精模任务提交。其降低了对模型数据生产人员的整体能力要求，提高了三维建模的生产效率。

上述描述对三维建模系统进行了介绍，但是现有的三维建模系统存在以下几种问题：

1、现有的三维建模系统在进行动态建模时常用的运动特征只关注运动部分信息，造成手势描述的不连续，丢失了手势保持时期的信息。

2、现有的三维建模系统在特征提取时未专注于有效的手部区域的提取，造成身体摆动等无效运动的干扰。

发明内容

针对现有技术的不足，本发明提供了一种基于姿态识别的针对人手部的三维建模系统，所述系统包括：数据采集模块，通过摄像头采集手势图片；

手部检测分割模块，检测出图像中手部位置，并分割出手部区域；

手势识别模块，提取特征，并识别出手势类别；

建模单元，根据空间位置数据和图像信息对待建模对象进行建模，生成手部的三维模型；

检测模块，将建立好的模型与数据采集模块采集的图像进行对比；

所述手势识别模块包括静态手势识别和动态手势识别，所述动态手势识别为多模态动态手势识别，所述多模态动态手势识别采用三维隐形状模型建模各模态特征的时空结构信息，通过一致性投票将特征映射至统一的概率空间，形成对各帧动作时空分布的概率估计。

优选的，所述静态手势识别为多视图投影的半监督静态手势识别，通过多个摄像头同时获取同一手势多个视角的深度图，其中一个视角深度图被作为输入，通过自编码网络预测另外视角的深度图，得到的编码作为手姿态的隐空间表征，最后利用全连接网络直接回归到关节位置。

优选的，所述数据采集模块包含多个信号采集摄像机，通过不同角度对手部进行拍摄，然后将图片信息传递至手部检测分割模块，对信息进行处理保存。