[发明专利]一种实时视频换脸方法、装置、设备和存储介质

说明书

本发明公开了一种实时视频换脸方法、装置、设备和存储介质，通过对I帧进行换脸操作，并将换脸后的I帧作为P帧和B帧的参考帧，使得基于I帧而得到的P帧和B帧能够自然而然的进行了换脸操作，从而不需要对P帧和B帧进行额外的处理，由于只对I帧进行换脸操作，因此能够大大减少整个换脸过程的运算时间，从而实现高效的实时换脸功能；此外，由于I帧、P帧和B帧都进行了换脸操作，因此不会出现如分辨率过低、噪点过多等图像质量问题和由于人脸对齐精度的问题而带来的换脸后人脸的“抖动”鬼影。

技术领域

本发明涉及图像处理技术领域，特别是一种实时视频换脸方法、装置、设备和存储介质。

背景技术

随着大众娱乐社交性质的手机APP的不断增多，具有美颜、萌脸、直播等功能的APP受到广大用户的青睐，例如美图秀秀、脸萌、快手、抖音、演技拍等APP。这些APP以图像或视频为载体，通过图像视频处理算法改变人的容貌(例如大眼、廋脸、磨皮、美白)、表情，添加有趣的元素或特效等，以达到唯美、复古、夸张、搞笑、酷炫等用户所需的效果。视频换脸也属于这一类应用。

由于受图像质量和人脸对齐精度的限制，在视频中人脸对齐得到的特征点并不稳定，直接替换人脸得到的视频人脸会有一定的“抖动”鬼影。此外，以演技拍APP为例，其进行人脸替换时并未进行三角分割和人脸融合，而是简单的将人脸区域进行替换，但其需要一定的处理时间以将视频中的人脸全部替换并缓存好后再进行播放，因此即便简单的将人脸区域进行替换也未能实现实时换脸。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种实时视频换脸方法、装置、设备和存储介质，不仅能够解决现有方案中出现的人脸“抖动”鬼影问题，还能够实现高效的实时换脸功能。

本发明解决其问题所采用的技术方案是：

第一方面，本发明提供了一种实时视频换脸方法，包括：

获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧；

检测I帧中的人脸，对I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换I帧中的人脸，将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧。

进一步，对I帧中的人脸进行人脸对齐，包括：

检测人脸的关键特征点，并对关键特征点进行定位。

进一步，使用模板图像中的人脸替换I帧中的人脸，具体包括：基于关键特征点对I帧中的人脸进行三角剖分；

结合模板图像中的人脸对I帧中的人脸进行三角映射，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸。

进一步，根据三角映射的关系把模板图像中的人脸融合到I帧中的人脸，具体包括：

把经过三角映射的模板图像中的人脸替换到经过三角映射的I帧中的人脸，对经过替换处理的I帧中的人脸进行颜色迁移，对经过颜色迁移的I帧中的人脸进行泊松无缝融合。

进一步，获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧，进一步包括：

若提取到的是P帧或B帧，则重新提取视频帧，直到提取到视频帧中的I帧。

进一步，检测I帧中的人脸，进一步包括：

若没有检测到人脸，则重新提取视频帧中的I帧并重新检测I帧中的人脸。

第二方面，本发明提供了一种实时视频换脸装置，包括：

提取单元，用于获取并解码视频数据，得到对应视频数据的视频帧，提取视频帧中的I帧；

处理单元，用于检测I帧中的人脸，对I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换I帧中的人脸，将替换人脸后的I帧作为视频帧中P帧和B帧的参考帧。