[发明专利]基于深度学习的实时动作捕捉和三维动画生成方法与装置

权利要求书

1.一种基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，包括：

接收通过可见光摄像装置获取的人体动作视频帧；

对人体动作视频帧进行插值处理；

通过三维人体关键点检测模型对插值处理后的视频帧进行检测，预测出人体的25个关键点的三维坐标；

根据预设规则将关键点进行前后层级划分，并基于层级进行人体动作分解，将关键点的三维坐标转换为骨骼绕关键点的旋转四元数；

三维动画模型生成，包括建立动画角色的骨骼蒙皮模型；

使用前述的旋转四元数驱动三维动画模型；

对人体动作视频帧序列按照前述方式重复处理，以设定的帧率将动画图片连接起来，输出与人体动作同步的三维动画视频；

其中，所述的前后层级划分的操作具体包括：

将25个人体关键点划分层级，其中从上到下表示关键点的前后层级；

其中25个人体关键点分别包括：

脊柱底，作为根关键点并据此划分的三个分支

第一分支：左髋、左膝、左踝与左脚；

第二分支：右髋、右膝、右踝与右脚；

第三分支：脊柱中、脊柱顶；

其第三分支具有以脊柱顶为根关键点划分的第一子分支、第二子分支以及第三子分支：

第一子分支：颈与头；

第二子分支：左肩、左肘、左腕、左手与左拇指，以及左指尖；

第三子分支：右肩、右肘、右腕、右手与右拇指，以及右指尖。

2.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的人体动作视频帧的插值处理包括：

对获取的人体动作视频帧使用双线性插值算法，使其放缩到符合三维人体关键点检测模型的像素值。

3.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的三维人体关键点检测模型为基于深度卷积神经网络的三维人体关键点检测模型，其通过标记三维关键点坐标的人体图像数据集进行训练，其中：

人体图像数据集为，其中为第幅包含人体的图像；为第幅图的人体第个关键点的三维坐标；，，为总数据量；

通过深度卷积神经网络进行训练的过程中，使用的损失函数为：，其中是指模型对某一批次数据的第个训练样本预测的第个关键点的三维坐标，为批次大小。

4.根据权利要求1所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，所述的人体动作分解的操作包括：

固定与各骨骼相连的前一层级关键点，骨骼依次绕xyz轴从骨骼基准状态各旋转某一角度，其中骨骼基准状态是指前一层级关键点到骨骼的方向为y轴方向。

5.根据权利要求4所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，对于任意一骨骼，骨骼绕与之相连的前一层级关键点旋转的角度由关键点与后两个层级关键点和坐标处理得到，计算方式为：

骨骼的前方向向量：

骨骼的上方向向量：

骨骼的右方向向量：

再求解骨骼旋转角，具体包括：

对三个方向向量进行归一化：、、

其中，为归一化的前方向向量，为归一化的上方向向量，为归一化的右方向向量，则旋转矩阵为，将旋转矩阵转化为旋转四元数；

每个骨骼旋转是在前一层级骨骼旋转基础上进行的，设骨骼前一层级骨骼绕其前一层级关键点的旋转四元数为，则在前一层级骨骼旋转基础上，骨骼绕关键点的相对旋转四元数为，若某骨骼前一层级关键点为脊柱底根关键点，则相对旋转四元数为绝对四元数。

6.根据权利要求5所述的基于深度学习的实时动作捕捉和三维动画生成方法，其特征在于，使用旋转四元数驱动三维动画模型的操作包括：

根据检测输出的人体的脊柱底根关键点确定动画模型的当前位置；

根据关键点计算得到的各骨骼的相对旋转四元数，从脊柱底根关键点开始，使用FK前向动力学方式驱动动画模型的各个骨骼绕关节旋转，再利用LBS线性混合蒙皮实现骨骼控制蒙皮变形，渲染姿势进行更新人体动画模型，得到一帧动画图像。