[发明专利]一种抿嘴笑编辑方法、装置、设备及可读存储介质

说明书

本发明提供了一种抿嘴笑编辑方法、装置、设备及可读存储介质，涉及计算机视觉与模式识别技术领域，包括获取待编辑的抿嘴笑目标人脸图；将所述抿嘴笑目标人脸图输入至预训练的人脸编辑模型中，输出新的抿嘴笑图像；基于卷积神经网络和损失函数，对所述抿嘴笑图像进行提取和训练，得到最终的抿嘴笑图像。本发明的有益效果为能覆盖大部分用户场景，算法稳定；利用注意力模块，提升网络学习能力，大大提升抿嘴笑效果；并可以提升网络输出图像的法令纹和嘴巴形状逼真性。

技术领域

本发明涉及计算机视觉与模式识别技术领域，具体而言，涉及抿嘴笑编辑方法、装置、设备及可读存储介质。

背景技术

人像抿嘴笑编辑(嘴巴闭上，苹果肌旁边法令纹明显，带有明显的笑容)在图像美颜方面有重大应用，如在美颜app中，用户可以上传自己各种表情图片，然后通过抿嘴编辑算法让图中人像表情变为抿嘴笑，用于特效玩法，大大提升用户体验。

目前行业中，抿嘴笑编辑效果还不够好，存在以下问题：通过传统图像算法，根据人脸点对待编辑图像进行warp到抿嘴笑效果，存在warp后人脸纹理不自然，笑容不逼真等问题；以及目前主流的抿嘴笑编辑算法大部分是基于生成网络(GANs)，而生成网络生成人像像特征会发生改变，导致不像本人，不够逼真。

发明内容

本发明的目的在于提供一种抿嘴笑编辑方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：

第一方面，本申请提供了一种抿嘴笑编辑方法，包括：

获取待编辑的抿嘴笑目标人脸图；

将所述抿嘴笑目标人脸图输入至预训练的人脸编辑模型中，输出新的抿嘴笑图像；

基于卷积神经网络和损失函数，对所述抿嘴笑图像进行提取和训练，得到最终的抿嘴笑图像。

优选地，所述获取待编辑的抿嘴笑目标人脸图，之前包括：

采集人脸数据图；

基于关键点检测法,对采集到的所述人脸数据图进行检测并裁剪,得到512*512的目标人脸图；

对所述目标人脸图进行修图得到待编辑的抿嘴笑目标人脸图。

优选地，将所述抿嘴笑目标人脸图输入至预训练的人脸编辑模型中，输出新的抿嘴笑图像，其中包括：

将所述目标人脸图输入至人脸语义分割网络进行合成，得到人脸区域的蒙版图像，将所述蒙版图像作为先验信息，所述先验信息包括法令纹部位和嘴巴部位；

建立人脸编辑模型；

将所述先验信息和待编辑的抿嘴笑目标人脸图输入至所述人脸编辑模型中，得到新的抿嘴笑图像。

优选地，所述基于卷积神经网络和损失函数，对所述抿嘴笑图像进行提取和训练，得到最终的抿嘴笑图像，其中包括：

建立注意力模块，利用卷积层提取所述注意力模块中的特征，得到第一网络分支和第二网络分支；

对所述第一网络分支进行softmax运算，得到第一结果；

根据所述第二网络分支和预设的学习参数，对所述第一结果进行计算，得到第二结果；

根据损失函数，对所述第二结果进行优化，得到最终的抿嘴笑图像。

第二方面，本申请还提供了一种抿嘴笑编辑装置，包括：

获取模块：用于获取待编辑的抿嘴笑目标人脸图；

输入模块：用于将所述抿嘴笑目标人脸图输入至预训练的人脸编辑模型中，输出新的抿嘴笑图像；