[发明专利]单视频内容驱动的服装三维动画生成方法

摘要

本发明公开了单视频内容驱动的服装三维动画生成方法。步骤如下给定着装人体运动的单个视频、及其对应的服装初始三维模型，根据视频的人体及其服装内容，提取出视频内容的服装边界序列，并估计出对应于视频内容的无着装人体三维模型序列。在此基础上，利用服装边界序列、无着装人体三维模型序列，从视频对应的服装初始三维模型开始，进行逐帧迭代针对视频对应的服装初始三维模型、或者上一帧的服装三维动画生成结果，利用基于无拉伸形变约束模型的布料动画生成方法，以无着装人体三维模型序列为驱动，生成当前帧的服装三维动画；根据上一步骤生成的当前帧服装三维动画与对应视频帧服装边界之间的差异，对当前帧服装三维动画进行变形处理，生成近似于视频内容的当前帧服装三维动画效果。

主权项

单视频内容驱动的服装三维动画生成方法，其特征在于，所述方法包括以下步骤：（1）视频服装边界提取与无着装人体三维模型序列生成；（2）无着装人体三维模型序列驱动的服装三维动画初始形状生成；（3）视频服装边界指导的服装三维动画形状修正，具体步骤为：（3.1）面向对应关系的服装三维模型候选顶点选取；（3.2）面向对应关系的视频服装边界点选取；（3.3）三维模型候选顶点与视频边界点的对应关系构建；（3.4）对应关系指导的服装三维动画形状修正；在所述步骤（3）需要构建当前帧服装三维动画初始形状与对应视频帧服装边界之间的对应关系，该对应关系通过服装三维模型顶点与视频服装边界点构成的点对描述；根据构成对应关系的服装三维模型顶点与视频服装边界点之间的距离，移动服装三维模型顶点，变形当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状；步骤（3）主要包括以下步骤：（3.1）面向对应关系的服装三维模型候选顶点选取，主要包括三个准则：法向量准则、三维模型边沿准则、模型投影边界准则；基于法向量准则筛选候选顶点：若服装三维模型顶点在xy‑平面上的投影，位于当前帧服装初始形状的投影边界附近，则该顶点的法向量在z‑轴上的分量为0，具体而言，候选顶点的法向量在z‑轴上的分量为0存在这样两种情况：一、邻接一个外法向量在z‑轴上分量为0的三角形；二、邻接两个三角形，即其中一个三角形外法向量在z‑轴上的分量为正，另一个三角形外法线向量在z‑轴上的分量为负；基于三维模型边沿准则筛选候选顶点：服装的领口、袖口、底边线部位会有一些开口，这些开口在服装三维模型中表现为空洞及边沿；位于空洞边沿的部分顶点，可能被法向量准则判定为非候选顶点，而它们在xy‑平面上的投影，可能位于当前帧服装三维动画初始形状的投影边界附近；因此，在法向量准则的基础上，给出三维模型边沿准则，将位于服装三维模型空洞边沿的顶点，增补为服装三维模型候选顶点；基于模型投影边界准则筛选候选顶点：由于布料具有皱纹，根据法向量准则选择的候选顶点，其投影可能不在当前帧服装三维动画初始形状的投影边界附近；而且三维模型边沿准则增补的部分候选顶点，其投影也可能不在当前帧服装三维动画初始形状的投影边界附近；所以，将当前帧服装三维动画初始形状在xy‑平面上的投影区域及其周围区域划分为正方形网格，将法向量准则和三维模型边沿准则选择的候选顶点投影到xy‑平面上，检测这些候选顶点的投影是否位于当前帧服装三维动画初始形状投影边界附近的正方形网格内，只有投影位于那些正方形网格内的候选顶点保留下来，作为构建对应关系的服装三维模型候选顶点；（3.2）面向对应关系的视频服装边界点选取，由于存在人体遮挡服装的现象，从着装人体运动视频中提取的服装边沿像素点，并不一定都属于真实服装边界；因此将视频服装边沿像素点分为两类：视频服装边界像素点和视频服装非边界像素点，选取出真实服装边界的视频服装边沿像素点；（3.3）候选顶点与边界点的对应关系构建，以服装三维模型候选顶点及其法向量、视频服装边界点及其法向量为输入，首先计算服装三维模型顶点与视频服装边界点之间的辐射概率（emission probabilities），根据这些辐射概率构成二维矩阵；然后通过动态规划，沿二维矩阵的视频服装边界点方向，寻找辐射概率总和最大的求解路径，该求解路径即为马尔可夫链，马尔可夫链节点对应的服装三维模型候选顶点和视频服装边界点构成的点对，即为所求的对应关系；（3.4）对应关系指导的服装三维动画形状修正，根据服装三维模型顶点与视频服装边界点构成的对应关系，移动构成对应关系的服装三维模型顶点及其邻域顶点，修正当前帧服装三维动画初始形状，获得与对应视频帧服装边界匹配的服装三维动画修正形状，服装三维动画形状修正步骤产生的服装三维动画形状修正量，不仅对当前帧服装三维动画形变起作用，还通过服装初始形状生成步骤向后续帧传播。