[发明专利]一种视频人脸胖瘦编辑方法

说明书

本发明公开了一种视频人脸胖瘦编辑方法，包括如下步骤：基于人脸视频重建三维人脸模型，并输出三维人脸形状参数和每一视频帧的人脸表情参数及人脸姿态参数；基于三维人脸胖瘦调整算法对三维人脸模型进行调整，并将调整结果迁移至每一帧，生成每一帧的形变三维人脸模型；使用有向距离场建立二维平面上形变前后的人脸边界的稠密映射，并基于三维人脸模型的结构调整所述稠密映射；基于所述稠密映射对人脸视频帧形变，并使用能量优化减少因形变造成的视频帧的背景扭曲，得到形变后的人脸视频帧，并将其对应替换回原人脸视频。本发明实现了自动生成符合所述胖瘦尺度的人脸视频，并且在被遮挡，长发，戴眼镜等情况下依旧能得到理想的结果。

技术领域

本发明涉及肖像编辑技术领域，特别是涉及一种视频人脸胖瘦编辑方法。

背景技术

随着社交网络和媒体的快速发展，越来越多的人积极地在网络上分享个人视频和图片。图像编辑技术通常被用来创造特别的人脸效果，比如人脸的夸张、美化等。目前的研究关注点主要集中于编辑人脸的颜色，纹理以及形状。

“Deep Shapely Portraits”(In MM′20:The 28th ACM InternationalConference on Multimedia.2020.1800–1808)公开了基于图像的自动胖瘦编辑方法，使用神经网络自动识别对特定人最合适的胖瘦尺度，并使用渲染融合的技术对图像进行形变。但该技术在时域上不稳定，并且不能很好处理侧脸。

“Motion-AwareGradient Domain Video Composition”(IEEE Transactions onImage Processing22,7(2013),2532–2544)公开了稳定的边界融合的重要性，并提出了融合原视频和目标视频梯度的方法。

公开号为CN 112348937 A的说明书公开了一种人脸图像处理方法，包括：电子设备获取待处理的二维图像，根据预先设定的基准网格构建所述待处理的二维图像对应的三维网格模型，根据所述待处理的二维图像的拍摄参数获取所述三维网格模型的纹理图，根据所述基准网格的脸部的可见边界确定边界点，以及与所述边界点对应的控制点；所述电子设备根据预设的变形要求，结合所述边界点与控制点的对应关系，对所述三维网格模型进行变形处理，将所述纹理图像渲染至变形处理后的三维网格模型，根据渲染后的三维网格模型生成处理后的图像。

随着深度学习的发展，近年来也出现了许多用深度学习编辑人脸的方法，但大部分用于编辑人脸的表情，妆容或姿态。例如，“Real-time Expression Transfer forFacialReenactment”(ACMTransactionsonGraphics(TOG)34,6(2015),183:1–183:14)公开了把其中一个人的表情参数迁移到另一个人脸上的方法；“PIE:portrait imageembedding for semanticcontrol”(ACMTransactionsonGraphics39,6(2020),1–14)公开了利用GAN网络对于图像语义的编辑方法，可编辑的特征包括人脸姿态，表情和光照。

公开号为CN 112308957 A的说明书公开了一种基于深度学习的最佳胖瘦肖像图像自动生成方法，包括如下步骤：生成人脸肖像图像中二维人脸的三维人脸模型、人脸相关参数和纹理映射，所述的人脸相关参数包括人脸姿态参数；将所述人脸肖像图像输入到训练好的基于深度学习的人脸最佳胖瘦估计模型中，输出人脸的最佳胖瘦尺度；以输出的最佳胖瘦尺度为输入，根据三维人脸胖瘦调整算法，对三维人脸模型进行调整，生成最佳胖瘦三维人脸模型；根据人脸姿态参数，将带纹理的最佳胖瘦的三维模型投影到二维平面上，得到最佳胖瘦的人脸；通过前后背景融合算法，使最佳胖瘦的人脸无缝嵌入到人脸肖像图像中，得到最佳胖瘦人脸肖像图像。