[发明专利]基于视频驱动数字人肢体动作的方法、装置及设备

权利要求书

1.一种基于视频驱动数字人肢体动作的方法，其特征在于，包括：

获取视频流数据，将所述视频流数据逐帧分解为按预设顺序排列的多张图片数据；

其中，所述视频流数据中包含一系列的人物肢体动作；

将所述多张图片数据按所述预设顺序依次输入至预设模型，依次生成与每张图片数据对应的三维姿态坐标；其中，所述三维姿态坐标包括预设数量个人体关节的三维坐标；

基于各图片数据的所述三维姿态坐标得到各图片数据的标准骨骼坐标；其中，所述标准骨骼坐标包括数字人的关节的标准坐标，所述数字人的关节与所述三维姿态坐标中人体姿态的关节一一对应；

基于所述各图片数据的标准骨骼坐标得到各图片数据对应的数字人各关节的旋转四元数；

根据所述旋转四元数和所述预设顺序驱动所述数字人的肢体动作。

2.根据权利要求1所述的方法，其特征在于，所述预设模型包括：

基础二维姿态识别模块，用于基于所述图片数据的二维图像序列生成二维姿态坐标；

空洞卷积模块，用于为所述二维图像序列建立空间和时域间的关联，得到所述三维姿态坐标；

骨骼方向调整模块，用于将所述三维姿态坐标投影生成所述二维姿态坐标，并计算所述三维姿态坐标和所述二维姿态坐标之间的损失。

3.根据权利要求1所述的方法，其特征在于，所述将所述多张图片数据按所述预设顺序依次输入至预设模型，依次生成与每张图片数据对应的三维姿态坐标，包括：

获取所述多张图片数据，依次生成与每张图片数据对应的偏置图和热力图；

基于所述偏置图和热力图生成对应每张图片数据的预设数量个人体关节的三维姿态坐标。

4.根据权利要求1所述的方法，其特征在于，还包括：

对所述三维姿态坐标进行自适应卡尔曼滤波和低通滤波处理。

5.根据权利要求1所述的方法，其特征在于，所述基于所述各图片数据的标准骨骼坐标得到各图片数据对应的数字人各关节的旋转四元数，包括：

基于第一张图片数据，生成初始Y轴朝向和各个关节的初始Z轴朝向；

基于所述Y轴朝向和各个关节的初始Z轴朝向，生成各个关节的初始旋转矩阵；

基于所述各个关节的初始旋转矩阵，生成各个关节的初始对齐矩阵；

基于新输入的图片数据，生成对应新输出图片数据的Y轴朝向和各个关节的Z轴朝向；

基于所述新输入图片数据的Y轴朝向和各个关节的Z轴朝向，生成对应新输入图片数据的各个关节的旋转矩阵；

将新输入图片数据中关节的旋转矩阵，与所述初始对齐矩阵相乘，得到新输入图片数据的旋转四元数。

6.根据权利要求5所述的方法，其特征在于，生成Y轴朝向和各个关节的Z轴朝向的过程包括：

确定图片数据中各个关节的父子关系；

基于目标关节与其关联关节的位置差确定所述目标关节的Z轴朝向，所述目标关节的关联关节包括与所述目标关节存在父子关节的关节；

基于所述图片数据中脊柱和左右跨关节三点围成平面的法线方向确定该图片数据的Y轴朝向。

7.根据权利要求1所述的方法，其特征在于，所述人体关节包括：

鼻，左眼，右眼，左耳，右耳，左肩，右肩，左肘，右肘，左腕，右腕，左髋，右髋，左膝，右膝，左踝和右踝。

8.根据权利要求1所述的方法，其特征在于，还包括：

通过预设插件约束数字人肢体动作的规范性。