[发明专利]一种中国手语视频过渡帧的合成方法

摘要

本发明公开了一种中国手语视频过渡帧的合成方法，其大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。其包括步骤(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。

主权项

一种中国手语视频过渡帧的合成方法，其特征在于：包括以下步骤：(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧；步骤(1)包括以下分步骤：(1.1)手部图像2D特征点标注；(1.2)特征点三维坐标计算；(1.3)特征点约束的一般化手模型形变；(1.4)手势投影；步骤(2)包括以下分步骤：(2.1)初始化，确定手势投影图像中指定区域中区块的最近邻：根据手纹理模板图的纹理区域划分和手模型特征点在投影图像上的二维坐标，将手势投影图像划分为59个投影区域，该59个投影区域至少包括手背、手心、食指指根、食指指中、食指指尖，分别与纹理模板图中的相应纹理区域对应，进行编号并建立索引；通过计算对应纹理区域四个顶点之间的仿射变换关系，利用仿射变换获得投影区域内的每个像素区块的最近邻区块；(2.2)增殖阶段，对余下的区域进行自适应的区块匹配：进行奇数次迭代时，对图像进行从左上方向右下方的扫描处理，某区块左方和上方区块的最佳偏移量作为该区块的最佳偏移量的候选值；进行偶数次迭代时，对图像进行从右下方向左上方的扫描处理，某区块右方和下方区块的最佳偏移量作为该区块的最佳偏移量的候选值，此时偏移量为公式(9)f(x,y)＝arg min{D(f(x,y)),D(f(x+1,y)),D(f(x,y+1))}     (9)f(x,y)表示目标图像中坐标为(x,y)的区块与其在源图像中的最近邻区块的坐标偏移量；D(v)表示源图像中区块(x,y)与目标图像中区块((x,y)+v)的使用RGB的颜色值计算的欧式距离；经过若干次迭代之后，手模型投影图像中的所有图像区块都在模板图像中找到了最近邻，对每一个图像像素都使用它的最近邻进行像素替换，实现手模型投影图像的纹理优化。