[发明专利]一种面向人物肖像的新视图修正生成方法

说明书

本发明公开了一种面向人物肖像的新视图修正生成方法。本发明步骤：步骤(1)任意源人物图像的目标前景与背景实时分离；步骤(2)面部遮挡部位的识别与分割处理；步骤(3)背景的随机光流计算与颜色缓存；步骤(4)人物肖像特征关键点的智能检测与匹配；步骤(5)交互式特征权重设置；步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；步骤(7)根据步骤(3)的缓存信息进行背景补全。本发明在一定程度上实现了实时人物肖像的新视图生成，并能够同时提供各种修正角度影像，改善与解决了现有方法的低效性与非真实感，为线上人物肖像传播，特别是线上会议通信提供了较好的质量修正机制。

技术领域

本发明属于计算机图形学、计算机视觉与多媒体技术领域，特别涉及一种面向人物肖像的新视图修正生成方法。

背景技术

现今，在讲求安全与效率的社会中，根据人们的现实通信需求，线上会议、视频或图片的线上分享等云信息交换方式迅速发展起来，打破了地域与时间限制，让人与人之间的沟通交流变得更加及时便利。然而，目前在实际通信中，由于受到硬件设备影像获取镜头(摄像机)位置的影响，经常出现通信目标——对方通信人(即图像主体目标)角度倾斜的现象，使得通信双方的感官体验欠佳，在一定程度上降低了通信的质量。因此，获取与显示正常视角下的图像，对于线上的及时信息交换具有很大的加成作用。

综合国内外研究现状和发展趋势，从新视图生成的角度来看，相对成熟的方法多集中于在平行平面上的平移或者变形操作，而新视图生成的内容所在的成像平面通常与源图像成一定的角度，这对重建或估计图像隐藏的3D几何结构要求更高。目前，专门针对视图变换的工作在伪影与空洞上存在较大的问题，且国内外的现有研究多分布在远焦大场景或者形状相对规则的物品，且由于受到有限数量图像的限制，在不匹配近似三维模型的前提下，这些方法通常仅集中在小范围的视角内变换，又该领域的很多研究会利用到物体的对称性先验，使得上述变换范围大多根据源图像的左右视角确定。然而，针对线上通信来讲，通常受到显示屏幕的影响而导致成像的角度置于俯仰位置，这使得现有的很多规则无法适用。另外，本发明所针对的人物肖像属于近景目标图像，与远景中的人物相比，需要对脸部、头发与肩颈部位进行更加细致清晰的处理与显示，且为了满足线上会议等实际应用需求还需保证实时性。

发明内容

本发明的目的是提出一种面向人物肖像的新视图修正生成方法，该方法能够根据现有用于通信影像获取的硬件设备拍摄得到的固定视角图像，提取具有高度代表性的可用特征信息，进行相应的特征理解、目标特性分析、变形及插值计算处理，最终生成可供用户自主选择显示视角的图像序列。

为实现上述目的，本发明的技术方案包括如下步骤：

步骤(1)任意源人物图像的目标前景与背景实时分离；

步骤(2)面部遮挡部位的识别与分割处理；

步骤(3)背景的随机光流计算与颜色缓存；

步骤(4)人物肖像特征关键点的智能检测与匹配；

步骤(5)交互式特征权重设置；

步骤(6)依照人物肖像俯仰变化的新视图生成机制计算目标影像；

步骤(7)根据步骤(3)的缓存信息进行背景补全。

进一步的，所述步骤(1)任意源人物肖像的目标前景与背景实时分离，具体实现如下：由于本发明所需的应用实时性，需要进行单帧人像的前景与背景分离，而背景相减法、光流法、时间差分法、高斯混合模型等面向视频的分离算法无法实现很好的实时性，且需要运动信息来辅助分离。针对这种实际应用情况，本发明提出了一种近似二值掩码与边缘检测相结合的实时分离算法，通过基本几何形状中的椭圆与梯形掩码快速确定目标前景的大致范围，需要特别注意的是，椭圆与梯形的尺寸设置需要比实际人物肖像稍大，以适配更大相机俯仰范围与不同个体的人像，而后使用边缘检测算法在上述掩码确定的范围内进一步精确提取出人像前景，从而在整体上实现人物肖像目标前景与背景的实时分离。