[发明专利]结合3D人脸模型的视频差错掩盖方法

说明书

技术领域

本发明属于视频传输差错恢复领域，具体涉及在视频解码端对传输过程中丢失的人脸图像信息进行恢复以提高视频解码质量的方法。

背景技术

随着互联网和无线通信网络的普及和发展，越来越多的数字视频信号通过这类信道进行传输。由于各种信道和网络错误，压缩视频数据在传输或存储过程中会被损坏或丢失，为了保证视频传输的健壮性，必须引入差错恢复机制。差错掩盖技术(又称为差错遮掩、错误隐藏等)是针对解码端的错误隐藏方法，主要利用人眼可以容忍一定程度图像失真的特性，借助视频信号在时域和空域上信息的相关性，采用信号修补等方法，尽可能重建丢失的信息，以提高解码图像的整体主观质量。由于这是一种后处理方法，不需要改变视频编码器的结构和信道传输方式，独立性强、适合于各种视频编码标准和方法，并且可以与其它方法联合使用，在实际应用中被广泛采纳。

差错掩盖技术可以分为空间域方法和时间域方法。在一般的实时传输环境中，当错误发生时人们可以利用帧间和帧内的相关性来进行修复，从而实时的恢复出人眼可接受的画质，并避免错误的传播。对于I帧错误，一般采用空域方法，利用相邻块的空间相关性和正确接收块的信息，对丢失宏块作空域的插值来实现修复。对于P帧的错误，则采用时域方法，利用相邻帧之间的时间相关性和相邻块间运动的相似性，来恢复丢失块的运动矢量，然后使用运动补偿方法来掩盖丢失块。但时域方法对存在场景切换和剧烈运动物体的视频错误掩盖效果有时不甚理想，传统的空域方法由于只是采用错误区域周围宏块边界点上的像素点进行内插，参考信息不足，往往容易造成边缘的丢失和图像的模糊。

三维建模是计算机视觉和计算机图形学领域中的一个基本问题，随着计算机图形学技术的长足发展，3D人脸模型和表情动画设计技术开始显现出越来越广泛的应用前景，涉及的典型应用如游戏动漫、可视通信、虚拟现实等。特别是当前网络带宽提高和实时、低比特可视应用的人脸编码系统的出现，使3D人脸技术成为可视电话和网络会议领域中的研究热点。然而，对于这些可视电话应用领域视频传输中出现的差错，目前基本上还是采取传统的差错掩盖方法进行掩盖，由于没有考虑此类应用的特殊性使得掩盖效果并不令人满意，特别是人脸区域存在较大的误差，当运动剧烈或者存在其他干扰时(例如话筒移动、遮挡脸部等)，掩盖效果更差。在对这类人脸视频解码图像进行差错掩盖时若充分考虑这个重要特征，结合3D人脸模型映射结果来对人脸区域实施掩盖，可以提高视频差错掩盖性能。

发明内容

鉴于现有技术的以上缺点，本发明的目的在于，研制一种结合3D人脸模型的视频传输时域差错掩盖方法，提高人脸图像受损区域的主观质量。本发明的目的是通过以下手段实现的。

结合3D人脸模型的视频差错掩盖方法，对可视电话应用领域视频传输中出现的差错进行差错掩盖处理以提高人脸图像受损区域的主观视觉质量，包括如下的步骤，

1)正确接收帧进行人脸检测和特征点标记，计算对应3D人脸模型的位置和形状信息，实现3D人脸模型的自动调整并结合视频图像进行纹理修补及映射；

2)对出错帧进行基于3D人脸模型的差错掩盖，充分利用前后帧宏块之间的相关性，通过前一帧的相应位置结合当前帧的运动向量MV预测当前出错帧相同区域内其他宏块的丢失情况判断人脸区域属于大部分丢失还是少量丢失；

3)人脸区域全部或者大部分丢失时，当前帧无法提供足够的信息用于确定特定人脸的位置和形状信息，使用从当前帧背景运动估计得到的位置和形状估计信息来调整更新3D人脸模型或者直接沿用前一帧的3D人脸模型，然后进入步骤5；

4)人脸区域少量丢失时，先对受损区域进行时域预掩盖，根据掩盖结果采用人脸检测和特征点定位相关算法提取出关键特征点，保留正确接收宏块上的特征点，未正确接收宏块通过前一帧相应特征点运动估计获取；根据关键特征点确立出位置和形状信息，结合可获得的纹理信息进一步调整更新3D人脸模型；然后进入步骤5；

5)将3D人脸模型移动至当前出错帧相应位置进行适当调整和映射掩盖，从而用新的宏块替代原始受损宏块

6)掩盖后人脸与背景边缘处的平滑处理。

采用本发明方法，与当前帧人脸图像匹配对应的特定3D人脸模型，结合预掩盖思想和特定3D人脸模型，实现对人脸区域的较准确掩盖，同时背景区域仍采用传统方法掩盖，最后对人脸与背景结合边缘处采取一定的平滑处理措施，显著提高掩盖的性能和主观质量

附图说明

图1是本发明人脸特征点定义示意图

图2为Candide-3 3D人脸线框模型图。

图3人脸位置及形状信息确立示意图。