[发明专利]一种图像处理方法、电子设备及存储介质

说明书

本申请实施例提供了一种图像处理方法、电子设备及存储介质。该方法包括：获取第一对象对应的样本视频，以及，获取第二对象对应的样本图像，其中，样本视频中包括第一对象的脸部区域，样本图像中包括第二对象的脸部区域；从样本视频筛选出包括第一对象的脸部的目标图像帧；将目标图像帧中的第一对象的脸部替换为样本图像中的第二对象的脸部，获得替换后的替换图像帧；确定样本视频中的图像帧之间的相对位移特征图；基于替换图像帧、样本视频中的图像帧之间的相对位移特征图，将样本视频中的图像帧中第一对象的脸部替换为第二对象的脸部。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、电子设备及存储介质。

背景技术

深度伪造(英语：Deepfake)，又被称为深伪技术，是深度学习(Deep Learning)和伪造(Fake)的混成词，专指基于人工智能的人体图像合成技术的应用，使用Deepfake技术可以将已有的图像或视频叠加至目标图像或视频上。

在一些场景下，如直播、搞笑等场景下，可能需要将一个图像中的人脸替换为另外一个人脸。目前，针对该种需求的主流做法是，使用深度伪造技术将一个视频中的人脸替换为另一个视频中的人脸，然而使用深度伪造技术的方法需要提取视频中的人脸特征(例如表情和唇部动作等)，并将特征编码后再解码成换脸后的图像，这些特征提取、特征编码和特征解码的操作通常是比较耗时的，只适用于非实时应用场景中。然而，在一些实时应用场景中，实时应用场景例如：现场直播出现匿名嘉宾，需要实时地将人脸部分打马赛克，或者，在搞笑场景中，需要实时地将某演员人脸替换为其它演员的人脸。因此，使用目前的图像处理方法对视频中的人脸进行替换难以满足实时应用场景需求。

发明内容

本申请实施例的目的在于提供一种图像处理方法、电子设备及存储介质，用于改善对视频中的人脸进行替换难以满足实时应用场景需求的问题。

第一方面，本申请实施例提供了一种图像处理方法，包括：获取第一对象对应的样本视频，以及，获取第二对象对应的样本图像，其中，样本视频中包括第一对象的脸部区域，样本图像中包括第二对象的脸部区域；从样本视频筛选出包括第一对象的脸部的目标图像帧；将目标图像帧中的第一对象的脸部替换为样本图像中的第二对象的脸部，获得替换后的替换图像帧；确定样本视频中的图像帧之间的相对位移特征图；基于替换图像帧、样本视频中的图像帧之间的相对位移特征图，将样本视频中的图像帧中第一对象的脸部替换为第二对象的脸部。在上述的实现过程中，通过先对样本视频中出现第一对象脸部的目标图像帧进行替换，然后根据样本视频中的其它图像帧与该目标图像帧之间的相对位移特征图来替换，获得实时替换人脸的换脸视频，达到了实时地将样本视频中的人脸进行替换的效果，从而避免了特征编码和特征解码等非常耗时的操作，让该换脸视频有效地满足了实时的应用场景需求，在不需要对人脸进行建模训练的前提下，实现了三维的换脸效果。

在第一方面的一种可选实现方式中，将目标图像帧中的第一对象的脸部替换为样本图像中的第二对象的脸部，获得替换后的替换图像帧，包括：确定样本图像所对应的样本纹理图，以及，基于样本图像确定脸部掩码纹理图；使用脸部掩码纹理图对样本纹理图中的非脸部区域进行过滤，获得第二对象的脸部区域；使用第二对象的脸部区域替换目标图像帧中第一对象的脸部区域，获得替换图像帧。

在上述的实现过程中，通过根据样本纹理图和掩码纹理图来进行脸部替换，获得替换后的图像帧，从而能够更加准确地找到脸部位置区域，从而在逐个像素点替换时只替换脸部区域，有效地提高了对视频中的脸部区域进行替换的精度。

在第一方面的一种可选实现方式中，确定样本图像所对应的样本纹理图，包括：对样本图像进行人脸检测，得到第二对象的初始脸部区域；对初始脸部区域进行目标处理，得到第二对象的待处理脸部区域，其中，目标处理包括裁剪处理；基于待处理脸部区域中的每个像素点的横坐标值和纵坐标值，对样本人脸图像的每个像素点对应的空间坐标值进行预测，获得待处理脸部区域对应的样本纹理图，样本纹理图中的每个像素点包括：空间坐标值、横坐标值和纵坐标值。