[发明专利]图像处理方法、装置、设备、介质和电子设备

说明书

公开了一种图像处理方法、装置、设备、介质和电子设备。所述图像处理方法包括：利用三维重建的方式，确定第一人脸图像的身份参数、第二人脸图像的姿态参数和第三人脸图像的表情参数；基于所述第一人脸图像的身份参数、第二人脸图像的姿态参数和第三人脸图像的表情参数生成二维的融合的渲染人脸图像；拼接所述渲染人脸图像和外观提示图像，以得到拼接的图像特征，其中所述外观提示图像指示输出图像中用于所述渲染人脸图像的脸部区域的轮廓；基于所述拼接的图像特征生成输出图像。

技术领域

本申请涉及图像处理领域，更具体地涉及一种图像处理方法、装置、设备、介质。

背景技术

可以对人脸图像执行各种处理以得到不同的效果。例如，通过给定原始人脸和参考人脸，可以生成与参考人脸身份信息一致，保留原始人脸的光线、姿态、装扮属性等效果的虚拟人脸，以实现换脸效果。又例如，还可以基于原始人脸和参考人脸生成与原始人脸的身份和属性信息一致，同时模拟参考人脸的表情和姿态的虚拟人脸，以实现面部重现的效果。然而，换脸效果和面部重现的效果都仅局限于针对一种人脸参数的编辑。

发明内容

根据本申请的一方面，提出了一种图像处理方法，包括：利用三维重建的方式，确定第一人脸图像的身份参数、第二人脸图像的姿态参数和第三人脸图像的表情参数；基于所述第一人脸图像的身份参数、所述第二人脸图像的姿态参数和所述第三人脸图像的表情参数生成二维的融合的渲染人脸图像；拼接所述渲染人脸图像和外观提示图像，以得到拼接的图像特征；基于所述拼接的图像特征生成输出图像，其中所述外观提示图像指示输出图像中用于所述渲染人脸图像的脸部区域的轮廓。

在一些实施例中，基于所述拼接的图像特征生成输出图像包括：利用残差网络对所述拼接的图像特征进行特征变换，以得到变换图像特征；利用基于所述第一人脸图像生成的身份特征和所述外观提示图像对所述变换图像特征进行调整以生成所述输出图像。

在一些实施例中，利用基于所述第一人脸图像生成的身份特征和所述外观提示图像对所述变换图像特征进行调整以生成所述输出图像包括：基于所述外观提示图像生成所述脸部区域的掩膜图像；基于所述掩膜图像确定脸部区域的内部图像特征和脸部区域的外部图像特征；利用所述身份特征分别调整所述内部图像特征和所述外部图像特征，以得到调整后的内部图像特征和调整后的外部图像特征；叠加所述调整后的内部图像特征和所述调整后的外部图像特征以得到调整后的图像特征；基于所述调整后的图像特征确定所述输出图像。

在一些实施例中，利用三维重建的方式，确定第一人脸图像的身份参数、第二人脸图像的姿态参数和第三人脸图像的表情参数包括：针对第一人脸图像、第二人脸图像和第三人脸图像中的每个人脸图像，对该人脸图像进行三维重建，以得到对应于该人脸图像的三维人脸；基于所述三维人脸确定该人脸图像的身份参数和表情参数；基于所述三维人脸到该人脸图像的投影确定相机投影参数，作为该人脸图像的姿态参数；提取第一人脸图像的身份参数、第二人脸图像的姿态参数以及第三人脸图像的表情参数。

在一些实施例中，基于所述第一人脸图像的身份参数、第二人脸图像的姿态参数和第三人脸图像的表情参数生成二维的融合的渲染人脸图像包括：利用所述第一人脸图像的身份参数和第三人脸图像的表情参数构建融合的三维人脸；基于第三人脸图像的姿态参数对融合的三维人脸进行投影，以得到二维的所述渲染人脸图像。

在一些实施例中，所述外观提示图像是通过在所述第三人脸图像中移除脸部区域的像素生成的。

在一些实施例中，所述渲染人脸图像具有第一通道数，所述外观提示图像具有第二通道数，拼接所述渲染人脸图像和外观提示图像，以得到拼接的图像特征包括：在通道维度上对所述渲染人脸图像和所述外观提示图像进行拼接，以生成所述拼接的图像特征，其中所述拼接的图像特征的通道数是第一通道数和第二通道数之和。