[发明专利]基于异构特征降维的二维角色卡通生成方法

说明书

技术领域

本发明涉及一种基于异构特征降维的二维角色卡通生成方法，具体涉及一种基于异构特征处理与检索的二维卡通角色生成方法，属于计算机动画和计算机机器学习的综合领域。

背景技术

随着计算机二维动画和计算机机器学习在工业和娱乐领域内的大量应用，基于已有二维卡通角色视频数据重用的二维卡通生成方法逐渐成为了一个重要的研究热点。尽管目前关于这个领域的研究还是处于探索的阶段，但是已经产生了一些比较有代表性的方法。

研究者已经开发了一些基于多媒体数据重用的二维卡通合成方法。比如，发表在2000年会议SIGGRAPH上的论文《Video Textures》，提取出了首先分析卡通视频片段，进而通过改变原有的视频帧排列顺序来合成新的卡通视频的方法。发表在2002年会议SIGGRAPH上的论文《Motion texture：a two-level statistical model for character motion synthesis》，研究者成功地通过重用三维运动数据来获得新的三维卡通运动。以上的方法激发了我们开发一种基于二维角色卡通数据重用的生成方法。

目前已经有几个比较成熟的基于二维卡通角色数据重用的方法，这些方法代表了目前比较流行的基于内容分析进行检索的合成技术。比如，发表在2004年会议SCA上的论文《Cartoon Textures》，需要用户手工指定需合成的卡通视频帧中的初始帧和末端帧，提高了合成的效率和实用性。但是，由此导致的问题是所合成的结果会被用户的指定很大程度上限定，并且用户无法控制合成的方向和结果。由于方法本身不能进行迭代或者反复，如果出现用户不满意的结果，将无法进行修改和反馈处理，并且合成过程中也存在着对于如何指定动画角色与背景帧结合的具体实施细节交待不清的问题。发表在2008年期刊CAVW上的论文《Perspective-aware Cartoon Clips Synthesis》，二维卡通资源的重用是集中在卡通视频段这个层面上的，没有真正深入到帧的层次，通过拼接已有的二维卡通片段来合成新的卡通视频。问题是，新合成的卡通视频中，原有片段内部帧的顺序并没有进行修改过，并且也存在着用户无法控制合成过程的情况。基于上述两种方法的缺陷，我们希望开发出一种基于内容分析检索、并且能够实现全程用户可控的二维角色卡通生成方法。

我们所提出方法的关键点，除了上面所分析的如何设计基于内容分析的卡通检索，还在于如何完成异构特征情况下基于姿态识别的卡通合成，比如如何量化地衡量真实视频关键帧与卡通视频关键帧之间姿态的相似度，而这方面的研究目前比较少。为了能够实现更高的姿态识别准确率，我们采用了不同的特征提取方法。发表在2010年期刊IVC上的论文《Silhouette representation and matching for 3D pose discrimination-A comparative study》，提出了在姿态识别领域中几种比较常用的特征提取方法，并针对不同的朝向做了细致深入的比较试验。在我们的方法中，通过对比实验，最终利用了该论文中所提到的方向性梯度直方图(HOG)特征提取方法来获得卡通角色的特征表达矩阵；占据图(OM)特征提取方法来获得真实人物的特征表达矩阵。

发明内容

本发明的目的是为了克服目前基于内容分析检索的二维卡通合成方法的局限性，提供了一种基于异构特征分析与降维来完成卡通姿势识别的二维卡通生成方法。

基于异构特征降维的二维角色卡通生成方法的步骤如下：

1)从二维卡通视频中提取包含角色卡通完整动作的视频段，并按照角色卡通的动作内容和朝向，拍摄对应的由真实人物表演的动作视频，对角色卡通的动作视频和真实人物表演的动作视频经过视频图像技术处理后，利用自定义的关键帧提取方法提取角色卡通的动作视频和真实人物表演的动作视频的关键帧，得到卡通关键帧和真实关键帧，并对卡通关键帧和真实关键帧进行归一化与中心化处理；对卡通关键帧和真实关键帧利用不同的特征提取方法，获得卡通关键帧特征表达矩阵和真实关键帧特征表达矩阵，并对特征表达矩阵按照自定义的动作类别进行分类，建立“卡通-真实”角色数据库；

2)从拍摄的真实人物表演的动作视频中，利用自定义的关键帧提取方法提取真实人物表演的动作视频的关键帧，得到检索真实关键帧，并对检索真实关键帧进行归一化与中心化处理；对检索真实关键帧利用特征提取方法获得检索真实关键帧特征表达矩阵；