[发明专利]一种基于单目深度图的动画人物绑定录制系统

说明书

本发明公开了一种基于单目深度图的动画人物绑定录制系统，属于视频人体姿态估计技术领域。该系统中，数据处理过程基于机器学习与深度学习框架，从单目深度图出发，利用三维信息深度学习网络，估计出图中人体关节点坐标，将人体关节点坐标估计值引入动画人物绑定录制系统，并采用过滤算法进行平滑处理，实现关节点与动画人物绑定录制系统中动画人物的绑定。通过利用三维信息深度学习网络实现对关节点坐标的估计，将关节点坐标估计值引入动画人物绑定录制系统中，使得对图中人体关节点坐标的估计值更加精确，从而在动画人物绑定录制，能够使得拍摄画面中人体动作准确体现在动画人物上，实现关节点与动画人物绑定录制系统中动画人物的精确绑定。

技术领域

本发明涉及一种基于单目深度图的动画人物绑定录制系统，属于视频人体姿态估计技术领域。

背景技术

人体姿态估计即基于图像重建人的关节和肢干，基于图像的人体姿态跟踪和关节点估计在人机交互、安防监控、运动分析、增强现实、虚拟现实、医疗健康、游戏和动画领域，都具有巨大的应用潜力和需求市场。目前的方法主要包括以下两类：

(1)自顶向下方法，又叫模型驱动方法，它依赖预先构建的模型或先验知识，通过在图像序列中进行匹配或求解后验概率计算相应的模型特征变量，利用变量修正预先构建好的模型，使模型接近于图像中人体的具体姿态。该方法主要的计算流程为，预测、匹配、更新，该类方法主要从模型出发，以数据作为模型的驱动，故最终的精度受模型与数据的双重影响，所以存在精度不高的问题。

(2)自底向上方法，又叫数据驱动方法，它通过图像数据的大量匹配计算，直接从数据中回归提取出目标关节点，最终的精度波动大，受数据特异性影响，并且泛化能力差。

发明内容

为了解决目前存在的人体姿态估计方法存在的精度不高从而导致基于单目深度图的动画人物绑定录制中拍摄画面中人体动作无法准确体现在动画人物上的问题，本发明提供了一种基于单目深度图的动画人物绑定录制系统。

本申请提供一种动画人物绑定录制系统中的数据处理方法，所述方法包括以下步骤：

步骤(1)应用deeprior++网络对2D单目深度图进行处理，输出空间偏移量xyz_Offset；

步骤(2)数据增强：对2D单目深度图进行旋转、缩放、以及平移并映射到三维欧氏空间形成点云；映射公式如下：

其中，u、v为图像坐标系下的任意坐标点；u₀、v₀为图像的中心坐标；x_ω、y_ω、z_ω表示世界坐标系下的三维坐标点；z_c表示相机在世界坐标系中坐标的z轴值，即2D单目深度图中的动画人物到相机的距离；R，T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵，f/dx是对x的偏微分，f/dy是对y的偏微分；

步骤(3)利用步骤(1)得到的空间偏移量xyz_Offset修正步骤(2)得到的点云，然后利用预置参数对修正后的点云进行修剪，初步形成点的集合，将初步形成的点的集合称为体素集Cubic，体素集Cubic为一个空间大小为88x88x88的方块，其中有点的位置标为1，无点的位置标为0；

步骤(4)将步骤(3)得到的体素集Cubic输入三维信息深度学习网络FeSHEN，获取动画人物关节点的最大似然响应位置，之后将关节点的最大似然响应位置映射到世界坐标系中，最终预测出动画人物的18个关节点，得到18个关节点在世界坐标系中的空间坐标；

步骤(5)对18个关节点在世界坐标系中的空间坐标使用平滑方法进行处理，包括变化限制和抖动平滑；其中，变化限制用于防止关节点出现超出人体极限的动作的变化；抖动平滑用于避免因为噪声造成的关节点抖动；

抖动平滑算法如下：