[发明专利]人手建模方法、系统、芯片、电子设备及介质

说明书

人手建模方法、系统、芯片、电子设备及介质，包括：基于模板手构建手动作参数模型；采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；将模板手匹配到自然状态的手的数据，得到个人手模板；将个人手模板拟合到复杂动作的点云，得到模型。本发明提高了手参数模型的动作表达能力，将参数模型和传统多目视觉算法相结合，从而提高基于模型拟合类算法手骨骼检测的准确度，能够从多目相机拍摄的手数据中准确的得到骨骼和三维模型。

技术领域

本发明涉及计算机图形技术领域，具体地说是一种人手建模方法、系统、芯片、电子设备及介质。

背景技术

在手姿态估计领域，常见的输入设备为单目相机，单目深度相机，多目相机系统。由于手活动范围大而存在自遮挡，单目(深度)相机受限于视角范围往往不能实施有效的骨骼识别，因此多目相机系统更适合这一任务。此外由于手的动作相对人体来说活动自由度更多，存在更多的自遮挡，同时手上缺少有特征的纹理，每个手指纹理又很类似，所以传统的基于特征点匹配的多目视觉算法重建出的点云容易有空洞和噪声，网格化后会导致模型粘连，也得不到准确的三维骨骼。

目前只有基于大量数据进行深度学习的方法能够取得比较好的结果，这类方法一般依赖手参数模型去对输入数据做拟合，因此算法效果依赖于参数模型的动作表达能力。然而现有的手参数模型很难表达复杂动作，因此即使是深度学习也不能解决复杂动作的骨骼检测和三维重建。

发明内容

本发明为解决多目相机系统在复杂手势下的骨骼检测及三维重建的问题，提供了一种人手建模方法、系统、芯片、电子设备及介质。

为了达到上述目的，本发明采用的技术方案提供一种人手建模方法，包括：

S1，基于模板手构建手动作参数模型；

S2，采集多视角、复杂动作的手图片、自然状态的手数据，并分别生成点云；

S3，将模板手匹配到自然状态的手的数据，得到个人手模板；

S4，将个人手模板拟合到复杂动作的点云，得到模型。

在一些实施例中，还包括S5，根据模型对点云作降噪和补洞处理，经过网格化得到重建后的三维模型。

在一些实施例中，S1中，手动作包括手语动作、每个关节的活动、手指活动的极限动作中的一个或组合。

在一些实施例中，S1中，采集三维骨骼并映射至模板手，提取特征向量构造手动作参数模型。

在一些实施例中，S2中，利用多目相机采集多视角、复杂动作的手图片，利用 MVS算法对手图片进行重建，得到点云。

在一些实施例中，S3中，通过非刚体形变将个人手模板匹配到自然状态的手的点云。

在一些实施例中，所述非刚体形变为，对手模板上控制点的旋转和平移进行优化，公式为：

E_shape(M)＝λ_dE_data+λ_rE_reg

E_data为数据项，E_reg为正则项，M为控制点的形变矩阵，λ_d,λ_r分别为两个优化项的权重。

在一些实施例中，数据项E_data为用于计算模板模型与点云之间的倒角距离：

其中k为模板模型T的顶点数，m为点云S的顶点数。