[发明专利]一种二维虚拟形象的人体动作动画生成方法及系统

权利要求书

1.一种二维虚拟形象的人体动作动画生成方法，其特征在于，包括，

拍摄真人动作视频；

提取视频的初始帧图像；

初始帧图像进行角点检测；

逐帧计算稀疏特征点光流；

计算2D网格变形；

计算模态网格和权重序列；

模态网格和权重序列进行的编辑；

使用同构型的2d网格，对虚拟形象进行动画渲染；

其中，所述的网格进行主成分分析PCA，取前几阶主成分，计算模态网格和权重序列，包括，

设网格顶点数量为n，由于是2d网格，顶点的维数为2，则每个网格可以视为2n维的向量V；

设视频段的总帧数为k，则网格序列可以视为k个网格向量的数据；

为了减小网格序列的数据量，以及方便对其进行手动修改，对网格序列进行PCA处理；

设PCA计算中保留的主成分个数为m，

第i帧的网格数据：

网格序列的数据包括：

1个平均网格向量和m个主成分向量对应的权重序列

和的维数都是2n；

对权重归一化处理：

取

取

则有：

称P_j为动作网格的第j模态，称w_j，i(i＝0，1，2，...，k)为第j模态的权重序列，同时，可将离散的权重序列连成连续的折线函数w_j(t)，称为第j模态的时变权重；

设第i帧的时间为t_i；

当时间t在范围[t_i，t_i+1]内时

连续时间的动态网格表示为：

至此，肢体动作被拆分为各个模态的时变权重叠加；

其中，所述使用同构型的2d网格，对虚拟形象进行动画渲染包括：

使用同构型的2d网格，以身体、服装、头部等至少一层图像为贴图，不同贴图和不同体型形成不同形象；

设静态虚拟形象的网格为

则时变动态网格为其中，m为对网格序列进行PCA处理时保留的主成分个数，P_j为动作网格的第j模态，w_j(t)为将离散的权重序列连成的连续的折线函数；

于是，视频中的肢体动作被迁移到虚拟形象的动态网格，使用对应的贴图，则生成虚拟形象的人体动作动画。

2.如权利要求1所述的一种二维虚拟形象的人体动作动画生成方法，其特征在于，所述的拍摄真人动作视频，真人穿着服装，初始姿势与虚拟形象相同，拍摄视角与虚拟形象的视觉相同。

3.如权利要求1所述的一种二维虚拟形象的人体动作动画生成方法，其特征在于，所述的提取视频的初始帧图像，将虚拟形象所用网格卷绕到覆盖初始帧中的人体，使用手动处理或自动处理方法，使得网格中的人体轮廓与初始帧中真人对齐。

4.如权利要求1所述的一种二维虚拟形象的人体动作动画生成方法，其特征在于，所述的通过后续帧特征点与初始帧特征点的位置差异，计算的2D网格变形，形成序列形式的动态网格变形方法，以特征点位置和网格的坐标为条件，将初始帧网格变形为当前帧网格。

5.如权利要求1所述的一种二维虚拟形象的人体动作动画生成方法，其特征在于，所述的对模态网格和权重序列进行的编辑，包括，

编辑模态网格，根据需要的变形效果，对模态网格的顶点位置进行人工修改；

将权重序列拟合为时序样条曲线，对样条曲线进行人工编辑，用样条曲线函数替换w_j(t)，或者对编辑后的样条曲线重新采样权重序列。

6.一种二维虚拟形象的人体动作动画生成系统，其特征在于，包括，

拍摄模块，用于拍摄真人动作视频；

提取模块，用于提取视频的初始帧图像；

角点检测模块，用于初始帧图像进行角点检测；

光流计算模块，用于逐帧计算稀疏特征点光流；

网格变形模块，用于计算2D网格变形；

模态网格计算模块，用于计算模态网格和权重序列；

编辑模块，用于模态网格和权重序列进行的编辑；

渲染模块，用于使用同构型的2d网格，对虚拟形象进行动画渲染；

其中，所述的网格进行主成分分析PCA，取前几阶主成分，计算模态网格和权重序列，包括，

设网格顶点数量为n，由于是2d网格，顶点的维数为2，则每个网格可以视为2n维的向量V；

设视频段的总帧数为k，则网格序列可以视为k个网格向量的数据；

为了减小网格序列的数据量，以及方便对其进行手动修改，对网格序列进行PCA处理；

设PCA计算中保留的主成分个数为m，

第i帧的网格数据：

网格序列的数据包括：

1个平均网格向量和m个主成分向量对应的权重序列

和的维数都是2n；

对权重归一化处理：

取

取

则有：

称P_j为动作网格的第j模态，称w_j，i(i＝0，1，2，...，k)为第j模态的权重序列，同时，可将离散的权重序列连成连续的折线函数w_j(t)，称为第j模态的时变权重；

设第i帧的时间为t_i；

当时间t在范围[t_i，t_i+1]内时

连续时间的动态网格表示为：

至此，肢体动作被拆分为各个模态的时变权重叠加；

其中，所述使用同构型的2d网格，对虚拟形象进行动画渲染包括：

使用同构型的2d网格，以身体、服装、头部等至少一层图像为贴图，不同贴图和不同体型形成不同形象；

设静态虚拟形象的网格为

则时变动态网格为其中，m为对网格序列进行PCA处理时保留的主成分个数，P_j为动作网格的第j模态，w_j(t)为将离散的权重序列连成的连续的折线函数；

于是，视频中的肢体动作被迁移到虚拟形象的动态网格，使用对应的贴图，则生成虚拟形象的人体动作动画。