[发明专利]一种虚拟人脸合成方法、系统、装置和存储介质

说明书

本发明公开了一种虚拟人脸合成方法、系统、装置和存储介质，其中方法包括以下步骤：获取视频数据后，根据视频数据获取视频序列及每一帧图片；依次对图片中的人脸进行识别，并获得人脸的位置信息和轮廓信息；结合位置信息、轮廓信息和预设的人脸3D模型进行人脸合成；将经过人脸合成后的图片按照视频序列进行组合，以生成人脸合成的视频数据。本发明通过对视频中的人脸进行识别，并结合预设的人脸3D模型对识别到的人脸进行更换，从而将视频中的人脸更换为自己的脸，满足了用户对视频进行换脸的高要求，间接地给用户带来更多的乐趣，可广泛应用于视频数据处理技术。

技术领域

本发明涉及视频数据处理技术，尤其涉及一种虚拟人脸合成方法、系统、装置和存储介质。

背景技术

随着图像处理技术的发展，现在很多智能终端上都带有自动美图和PS的功能，基于人脸检测技术，用户可以修改图片上的人脸，比如修改眉毛和嘴唇，甚至可以更换人脸，给用户带来了极大的乐趣。但是，目前技术只能实现单张图像的人脸合成，无法实现对视频中人脸的修改，随着人脸跟踪技术越来越成熟，用户迫切希望一种能够在视频中修改脸部画面的技术。

发明内容

为了解决上述技术问题，本发明的目的是提供一种能够在视频中进行虚拟人脸合成的方法、系统、装置和存储介质。

本发明所采用的第一技术方案是：

一种虚拟人脸合成方法，包括以下步骤：

获取视频数据后，根据视频数据获取视频序列及每一帧图片；

依次对图片中的人脸进行识别，并获得人脸的位置信息和轮廓信息；

结合位置信息、轮廓信息和预设的人脸3D模型进行人脸合成；

将经过人脸合成后的图片按照视频序列进行组合，以生成人脸合成的视频数据。

进一步，还包括建立人脸3D模型的步骤，所述建立人脸3D模型这一步骤，具体为：

获取不同角度的人脸图片，并根据人脸图片构建人脸3D模型。

进一步，所述轮廓信息包括轮廓面积信息和脸部角度信息，所述结合位置信息、轮廓信息和预设的人脸3D模型进行人脸合成这一步骤，具体包括以下步骤：

根据轮廓面积信息将图片分割成背景图片和脸部图片；

根据轮廓面积信息判断脸部图片的面积是否大于预设面积值，若是，执行下一步骤；反之，终止该图片的人脸合成步骤，并切换下一张图片进行人脸识别；

根据脸部角度信息从人脸3D模型中获取对应的脸部数据，并根据轮廓面积信息对获得的脸部数据进行处理；

根据处理后的脸部数据对脸部图片进行修改后，与背景图片进行合成。

进一步，还包括以下步骤：

获取背景图片的颜色信息，根据颜色信息修改脸部图片的颜色；

根据颜色信息对脸部图片与背景图片的交界处进行虚化处理。

进一步，所述脸部角度信息包括五官角度信息和基准点信息，所述根据脸部角度信息从人脸3D模型中获取对应的脸部数据这一步骤，具体包括以下步骤：

根据五官角度信息获取人脸3D模型的角度；

将基准点信息与该角度下人脸3D模型的基准点进行匹配，并获取对应的二维的脸部数据。

本发明所采用的第二技术方案是：

一种虚拟人脸合成系统，包括：

分解模块，用于获取视频数据后，根据视频数据获取视频序列及每一帧图片；