[发明专利]一种基于单目深度图的动画人物绑定录制系统

权利要求书

1.一种动画人物绑定录制系统中的数据处理方法，其特征在于，所述方法包括以下步骤：

步骤(1)应用deeprior++网络对2D单目深度图进行处理，输出空间偏移量xyz_Offset；

步骤(2)数据增强：对2D单目深度图进行旋转、缩放、以及平移并映射到三维欧氏空间形成点云；映射公式如下：

其中，u、v为图像坐标系下的任意坐标点；u₀、v₀为图像的中心坐标；x_ω、y_ω、z_ω表示世界坐标系下的三维坐标点；z_c表示相机在世界坐标系中坐标的z轴值，即2D单目深度图中的动画人物到相机的距离；R，T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵；

步骤(3)利用步骤(1)得到的空间偏移量xyz_Offset修正步骤(2)得到的点云，然后利用预置参数对修正后的点云进行修剪，初步形成点的集合，将初步形成的点的集合称为体素集Cubic，体素集Cubic为一个空间大小为88x88x88的方块，其中有点的位置标为1，无点的位置标为0；

步骤(4)将步骤(3)得到的体素集Cubic输入三维信息深度学习网络FeSHEN，获取动画人物关节点的最大似然响应位置，之后将关节点的最大似然响应位置映射到世界坐标系中，最终预测出动画人物的18个关节点，得到18个关节点在世界坐标系中的空间坐标；

步骤(5)对18个关节点在世界坐标系中的空间坐标使用平滑方法进行处理，包括变化限制和抖动平滑；其中，变化限制用于防止关节点出现超出人体极限的动作的变化；抖动平滑用于避免因为噪声造成的关节点抖动；

抖动平滑算法如下：

输入：本帧坐标输入值X_t；上帧的输入值X_t-1；

输出：平滑后的输出值

S1计算X_t与X_t-1之间的欧氏距离dis；

S2判断dis的大小，设定抖动限制值Jitter；

如果disJitter，则X′_t＝X_t；

若dis≤Jitter，判定X_t为抖动，则利用下述公式对X_t进行平滑

S3使用霍尔特双指数平滑公式计算本帧的平滑值Y_t；

Y_t＝X′_t×(1-Smoothing)+(X_t-1+T_t-1)×Smoothing

其中，Smoothing为平滑参数，取值范围为[0,1]；T_t-1为上一帧的趋势值，由上一帧的趋势公式计算出；

S4计算平滑值Y_t与输入值X_t-1之间差值Dis；

Dis＝Y_t-X_t-1

S5使用霍尔特双指数趋势公式计算本帧的趋势值T_t；

T_t＝Dis×Correction+T_t-1×(1-Correction)

其中，Correction是修正参数，取值范围为[0,1]；

S6使用霍尔特双指数预测公式计算最终的预测值

其中，Prediction取值为[0,n]，是影响期望预测未来n帧的预测值的参数，用于对未来n帧图像产生影响；

S7使用最大过滤距离MaxDist检查预测值与输入值X_t之间的欧氏距离DisOut，若DisOutMaxDist，则

最终得到了对于输入值X_t的平滑后的输出值为一个三维向量，包含了关节点在x、y、z轴上的坐标值；

步骤(6)根据平滑后的输出值建立基于单目深度图的动画人物绑定录制系统。