[发明专利]基于异构特征降维的二维角色卡通生成方法

权利要求书

1.一种基于异构特征降维的二维角色卡通生成方法，其特征在于它的步骤如下：

1)从二维卡通视频中提取包含角色卡通完整动作的视频段，并按照角色卡通的动作内容和朝向，拍摄对应的由真实人物表演的动作视频，对角色卡通的动作视频和真实人物表演的动作视频经过视频图像技术处理后，利用自定义的关键帧提取方法提取角色卡通的动作视频和真实人物表演的动作视频的关键帧，得到卡通关键帧和真实关键帧，并对卡通关键帧和真实关键帧进行归一化与中心化处理；对卡通关键帧和真实关键帧利用不同的特征提取方法，获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵，并对特征表达矩阵按照自定义的动作类别进行分类，建立“卡通-真实”角色数据库；

2)从拍摄的真实人物表演的动作视频中，利用自定义的关键帧提取方法提取真实人物表演的动作视频的关键帧，得到检索真实关键帧，并对检索真实关键帧进行归一化与中心化处理；对检索真实关键帧利用特征提取方法获得检索真实关键帧特征表达矩阵；

3)卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵通过自定义的异构特征降维算法，经过训练获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵对应的卡通关键帧特征表达矩阵的降维投影方向矩阵和真实关键帧特征表达矩阵的降维投影方向矩阵；检索真实关键帧序列特征表达矩阵，用检索真实关键帧序列特征表达矩阵乘以真实关键帧特征表达矩阵的降维投影方向矩阵获得检索真实关键帧序列降维特征表达矩阵，并在投影空间中计算获得的“卡通-真实”角色数据库中和检索真实关键帧序列降维特征表达矩阵距离最近的卡通关键帧序列，最后将计算得到的卡通关键帧序列返回；用户在返回的卡通关键帧序列上进行编辑和插值，来获得最终的卡通效果视频。

2.根据权利要求1所述的一种基于异构特征降维的二维角色卡通生成方法，其特征在于：所述步骤1)包括：

从二维卡通角色视频中，提取包含完整卡通角色动作片段的卡通视频V_cart，来由真实人物按照V_cart中卡通角色的动作内容和朝向在单目摄像机前进行模仿表演，获得包含有完整真实人物动作片段的真实视频V_real；

对从V_cart和V_real中渲染出来的视频帧，利用Hausdorff距离算法特征获得卡通距离矩阵和真实距离矩阵其中n₁和n₂分别为卡通和真实视频所渲染出来的帧数量，表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离，表示真实视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M_cart和M_real中的每一项分别乘以系数和来完成归一化，其中的d_{cart_max}和d_{real_max}分别为矩阵M_cart和M_real中的最大值，在获得经过归一化的距离矩阵M_cart和M_real之后，按照设定的阈值和来过滤矩阵中的对角值，分别将得到的和所对应的第i帧作为关键帧，由此得到卡通关键帧和真实关键帧其中n为两者的数量；

针对卡通关键帧按照方向性梯度直方图特征提取方法获得卡通关键帧特征表达矩阵其中d₁为每一关键帧对应的特征表达向量的维度；同样地，针对真实关键帧按照占据图特征提取方法获得真实关键帧特征表达矩阵其中d₂为每一关键帧对应的特征表达向量的维度；将X₁和X₂中所有的关键帧都按照动作内容的不同分为r类，使得每一类中都有相同数量的卡通和真实关键帧从而形成X₁和X₂在类别层面上的一一对应；

对所获得的X₁和X₂，分别经过如下变换获得中心化的矩阵：

X1=-12HX1H,]]>X2=-12HX2H---1]]>

其中并且N为X₁与X₂的样本数量n，至此完成归一化与中心化操作，从而建立了“卡通-真实”角色数据库。

3.根据权利要求1所述的一种基于异构特征降维的二维角色卡通生成方法，其特征在于：所述步骤3)包括：

归一化和中心化的卡通和真实特征表达矩阵X₁和X₂，按照如下的目标函数算法来进行计算获得卡通关键帧特征表达矩阵的降维投影方向矩阵W₁和真实关键帧特征表达矩阵的降维投影方向矩阵W₂：

minF,W1,W2tr(FTLsynF)-α||X1W1-F||F2+γ1||W1||F2+β||X2W2-F||F2+γ2||W2||F2+]]>

δ||F-Y||F2---2]]>

α，γ₁，β，γ₂，δ为复杂平衡度系数，矩阵Y＝[y₁，y₂，...，y_n]∈{0，1}^n×r，其中当卡通样本和真实样本都属于第k个类别时，则Y_ik＝1；否则Y_ik＝0；和属于同一类别，形成满秩的Y矩阵；tr(.)为迹操作符；卡通关键帧特征表达矩阵和卡通关键帧特征表达矩阵的拉格朗日矩阵L¹＝D¹-A¹，L²＝D²-A²。

L_syn＝[((L¹+L²)/²)′+((L¹+L²)/2)]/2         3

因此L_syn＝L′_syn；其中表示弗罗贝尼乌斯范式，并且满足所有的矩阵Z；经过求导，最后可以得到：

W₁＝δB₁(αU+βV+E)^-1Y    4

W₂＝δB₂(αU+βV+E)^-1Y    5

其中：

U=B1TX1TX1B1-X1B1-B1TX1T+1---6]]>

V=B2TX2TX2B2-X2B2-B2TX2T+1---7]]>

E=Lsyn+γ1B1TB1+γ2B2TB2+δI---8]]>

其中：

B1=(αX1TX1+γ1I)-1αX1T---9]]>

B2=(βX2TX2+γ2I)-1βX2T---10]]>

至此，获得了获得卡通关键帧特征表达矩阵的降维投影方向矩阵W₁和真实关键帧特征表达矩阵的降维投影方向矩阵W₂；

在输入检索真实关键帧时，按照占据图特征提取方法获得对应的检索真实关键帧特征表达矩阵其中m为检索真实关键帧的数量；根据获得的真实关键帧特征表达矩阵的降维投影方向矩阵W₂，计算检索真实关键帧在降维后的空间中的检索降维真实特征表达式根据获得的卡通关键帧特征表达矩阵的降维投影方向矩阵W₁，计算“卡通-真实”角色数据库中的卡通关键帧特征表达矩阵在降维后的空间中的降维卡通特征表达式X′₁＝X₁W₁∈R^n×r，其中r为降维空间的维度；

在降维空间中，以检索降维真实特征表达式中的每个元素作为单独索引，计算和降维卡通特征表达式X₁′中的每个元素的欧式距离，并返回距离最小的若干个作为卡通索引结果X_result，完成以真实关键帧作为索引返回得到的卡通关键帧的过程；

用户在卡通索引结果X_result上进行形变、拉伸、替换等操作来增强卡通关键帧的趣味性，最后通过线性插值的方法获得最终的卡通视频。