[发明专利]基于体感相机Kinect的真实感动画生成方法

摘要

本发明属于计算机视觉和计算机图形学领域。为提供实现既能保证生成新视频序列的逼真可信，又能解决实验设备要求高的难点的方法。为此，本发明采取的技术方案是，基于体感相机Kinect的真实感动画生成方法，利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集。利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型。用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频。本发明主要应用于视频处理。

主权项

一种基于体感相机Kinect的真实感动画生成方法，其特征是，利用单个Kinect v2.0对人物进行静态三维模型和彩色深度骨架信息的采集，利用无标记运动捕捉方法，得到每帧的骨架运动信息和变形后的三维模型，用户指定一个新动作后，基于所建立的数据集，通过所提出的基于稀疏表示的低秩矩阵填充的纹理合成方法生成该人物做新动作的视频；具体包括以下步骤：1)基于Kinect Fusion的方法对人物进行静态的三维模型的重建，并在这个模型即参考姿态模型的基础上，手动嵌入骨架；2)数据库建立：采用单个Kinect v2.0相机捕捉该人物进行各种基本动作时的彩色视频、深度视频和对应的骨架序列；利用IK(inverse kinematics)算法计算各帧骨架节点的运动参数；采用线性混合蒙皮方法(linear blend skinning)计算皮肤权重并变形参考姿态模型得到每帧对应的三维模型；采用深度信息矫正变形后的模型使之更加准确；数据集只需要建立一次，基于此数据库可以生成该人物的新动作的视频序列；3)用户指定新的动作的骨架序列，该骨架的拓扑结构与数据集中骨架的拓扑结构相同；4)为新目标动作的每帧在数据集中寻找相似的候选帧；5)利用移动最小二乘方法把检索到的帧的人体部分进行形变得到最初估计，然后利用加权低秩矩阵填补插值方法进行优化；6)将步骤5)得到的最终图像放在一起得到要求的新视频序列；相似的候选帧检索方法的设计，具体包括以下步骤：4‑1)首先把目标骨架与数据库中的骨架对齐到同一个世界坐标中，旋转骨架使其面向同一个方向，然后通过最小化以下能量函数检索得到候选帧：E(F)=Σi∈I(F)Ds(Sdi-Sqi)+α(Σi∈I(F)Ds(Sdi-Sdi-1)-Σi∈MDs(Sqi-Sqi-1))-βN(F)---(1)]]>其中F是未知的候选帧，N(F)是候选序列帧数，I(F)是数据库原始序列的帧号，M是目标序列帧数，是数据库序列第i帧的骨架节点向量，数据库序列第i‑1帧的骨架节点向量，是目标序列第i帧的骨架节点向量，是目标序列第i‑1帧的骨架节点向量，α、β表示两个约束之间的权重分配，骨架相似度定义如下：Ds(Sm-Sn)=Σj=1J(Smj-Snj)2σj---(2)]]>其中m和n可以分别代表公式(1)中的d或q，Sj是第j个骨架节点的位置，而J是节点数目，σj是在数据库中节点j位置的方差；在公式(1)中，第一项是空间约束，保证候选帧与目标帧的相似性；后面的两项约束是为了保证时间上的连续性，避免抖动；利用加权低秩矩阵填补插值方法进行优化具体步骤是：5‑1)假定数据库中及目标序列中每帧的三维表面模型都是通过同一个三维模型变形得到，他们具有相同的顶点和拓扑连接性；对三维模型进行分割处理，总共分为16个部分并通过映射将目标帧及检索帧的人物图像也分为16个部分；计算目标帧与检索帧的对应像素，以对应点为引导，利用移动最小二乘方法将检索帧变形；5‑2)步骤5‑1)得到的最初结果可能会包含一些缺失信息，因为检索帧不可能包含目标帧的所有信息，采用基于稀疏表示的矩阵填补的方法对这些区域进行插值，最后得到每帧图像，合成新的视频序列；对于基于稀疏表示的矩阵填补的方法，首先要在当前不完整图像上的边缘求取优先级，优先级的排序条件考虑了块的纹理和深度信息；然后，按照每个块的优先级顺序填补，对于某一个待填补块，找到与其相似的K个相似块；设要修复的像素点Pi所处的w×w块B0，及K个相似块分别标识为B1,B2,B3,…Bk，用这些矩阵作为每一列得到一个矩阵D，基于稀疏表示的矩阵填补的方法表述为以下优化问题：其中，A为待求的原矩阵，E为非零元素个数，D为观测矩阵，W为考虑了相似块相似度的权重矩阵，λ为噪声大小的权重；rank(A)表示矩阵A的秩，||·||0表示矩阵的0范数，“°”表示两个矩阵对应元素相乘，Ω为已知元素的索引集合，PΩ为投影到Ω域的算子，以上优化问题为NP hard(Non‑deterministic Polynomial‑time hard)问题，因此使用矩阵的核范数||·||*代替矩阵的秩最小化，用矩阵1范数||·||1代替0范数，上述的问题转化为：求解出来得到矩阵A后，取出第一列，重整为w×w的像素块大小的，即为基于稀疏表示的矩阵填补的方法恢复出来的当前块，其他位置的像素块以此类推。