[发明专利]一种实时视频换脸方法、装置、设备和存储介质

权利要求书

1.一种实时视频换脸方法，其特征在于：包括：

获取并解码视频数据，得到对应视频数据的视频帧，提取所述视频帧中的I帧；

检测所述I帧中的人脸，对所述I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换所述I帧中的人脸，将替换人脸后的I帧作为所述视频帧中P帧和B帧的参考帧。

2.根据权利要求1所述的一种实时视频换脸方法，其特征在于：所述对所述I帧中的人脸进行人脸对齐，包括：

检测人脸的关键特征点，并对所述关键特征点进行定位。

3.根据权利要求2所述的一种实时视频换脸方法，其特征在于：所述使用模板图像中的人脸替换所述I帧中的人脸，具体包括：

基于所述关键特征点对所述I帧中的人脸进行三角剖分；

结合所述模板图像中的人脸对所述I帧中的人脸进行三角映射，根据三角映射的关系把所述模板图像中的人脸融合到所述I帧中的人脸。

4.根据权利要求3所述的一种实时视频换脸方法，其特征在于：所述根据三角映射的关系把所述模板图像中的人脸融合到所述I帧中的人脸，具体包括：

把经过三角映射的模板图像中的人脸替换到经过三角映射的I帧中的人脸，对经过替换处理的I帧中的人脸进行颜色迁移，对经过颜色迁移的I帧中的人脸进行泊松无缝融合。

5.根据权利要求1所述的一种实时视频换脸方法，其特征在于：所述获取并解码视频数据，得到对应视频数据的视频帧，提取所述视频帧中的I帧，进一步包括：

若提取到的是P帧或B帧，则重新提取所述视频帧，直到提取到所述视频帧中的I帧。

6.根据权利要求1所述的一种实时视频换脸方法，其特征在于：所述检测所述I帧中的人脸，进一步包括：

若没有检测到人脸，则重新提取所述视频帧中的I帧并重新检测I帧中的人脸。

7.一种实时视频换脸装置，其特征在于：包括：

提取单元，用于获取并解码视频数据，得到对应视频数据的视频帧，提取所述视频帧中的I帧；

处理单元，用于检测所述I帧中的人脸，对所述I帧中的人脸进行人脸对齐，使用模板图像中的人脸替换所述I帧中的人脸，将替换人脸后的I帧作为所述视频帧中P帧和B帧的参考帧。

8.根据权利要求7所述的一种实时视频换脸装置，其特征在于：所述处理单元包括：

检测单元，用于检测人脸的关键特征点，并对所述关键特征点进行定位。

9.根据权利要求8所述的一种实时视频换脸装置，其特征在于：所述处理单元还包括：

分割单元，用于基于所述关键特征点对所述I帧中的人脸进行三角剖分；

替换单元，用于结合所述模板图像中的人脸对所述I帧中的人脸进行三角映射，根据三角映射的关系把所述模板图像中的人脸融合到所述I帧中的人脸。

10.根据权利要求9所述的一种实时视频换脸装置，其特征在于：所述替换单元包括：

融合单元，用于把经过三角映射的模板图像中的人脸替换到经过三角映射的I帧中的人脸，对经过替换处理的I帧中的人脸进行颜色迁移，对经过颜色迁移的I帧中的人脸进行泊松无缝融合。

11.根据权利要求7所述的一种实时视频换脸装置，其特征在于：所述提取单元还具体用于：若提取到的是P帧或B帧，则重新提取所述视频帧，直到提取到所述视频帧中的I帧。

12.根据权利要求7所述的一种实时视频换脸装置，其特征在于：所述处理单元还具体用于：若没有检测到人脸，则重新提取所述视频帧中的I帧并重新检测I帧中的人脸。