[发明专利]二维到三维人脸表情迁移方法、电子装置及存储介质

说明书

本发明公开了一种二维到三维人脸表情迁移方法、电子装置及存储介质，属于计算机视觉领域。该方法包括：获取真实交互场景下的二维人脸图像作为源表情表示，虚拟交互场景下的三维人脸形变模型作为目标三维人脸表情表示；为二维人脸图像提取人脸三维参数；基于人脸三维参数中的表情参数，通过融合变形系数估计模型获取目标表情的融合变形系数；依据所得目标表情融合变形系数驱动三维人脸模型生成目标表情表示。本发明能够有效提取人脸表情相关参数，缓解人脸表情从二维空间到三维空间的跨维度难题；将表情参数变换至目标融合变形系数，保证了该方法的广泛适用性。本方法可实现准确、快速的人脸表情迁移，可用于提升动画师在进行三维人脸建模与创作过程中的工作效率。

技术领域

本发明属于计算机视觉和三维建模的相关技术领域，特别涉及一种二维到三维人脸表情迁移方法、电子装置及存储介质。

背景技术

人脸形象在日常生活中起着至关重要的作用，它反映了每个人的基本身份特征。同时，丰富的面部表情能够传递一个人的情感和精神状态，表达十分丰富的社会文化意义。在虚拟环境中，如果虚拟人能够准确地模仿人类的面部表情，将会大大缩短虚拟人和真实人类之间的距离。随着元宇宙等新概念的提出，虚拟现实和人工智能成为未来技术发展的两大基石。人们希望在计算机模拟的虚拟环境中，能够可以像真实人类一样同虚拟人进行交流与互动。在实现这一目标过程中，赋予虚拟人更加丰富的表情是非常重要的一步。丰富的面部表情可以极大地提升虚拟人的真实度和表现力，给予用户更为沉浸的体验，让交互行为更有意义。

目前，在绝大多数虚拟现实应用中，三维虚拟人的表情建模与动画创作需要依赖三维动画设计师手工完成。具体来讲，设计师需要首先为三维虚拟人创作一组基于模型形变的融合变形表情基模型来表现面部肌肉运动。在创作表情动画过程中，设计师需要手动设定一组融合变形系数，然后反复观察、评估和调整这一套系数对应的表情效果。这种试错的方式需要消耗极大的时间和精力，创作效率极受限制。其中，融合变形(blendshape)是对三维模型的单个网格变形以实现大量预定义形状和任何数量之间组合的技术。

人脸表情迁移技术能够将已有表情从现有模型迁移到新模型上，为模型创建新的面部表情动画。该技术降低了为新模型制作表情动画的时间成本，大大提升了制作效率，为高真实感人脸表情动画的合成提供了新的思路。相比于三维人脸表情，二维的人脸表情图像具有分布范围广、资源丰富的特点。将二维人脸表情迁移到三维人脸模型上，是一项非常具有现实意义的技术，同时也是一个非常富有挑战的问题。

目前二维到三维人脸表情迁移相关的发明研究还相对较少，与该问题密切相关的一个任务是基于二维真实人脸图像的三维游戏角色自动生成。

中国专利申请CN201811556498.4(CN109636886A)中提供了一种图像的处理方法和相关装置，该方法将真实场景人脸作为第一面部图像，将基于捏脸参数渲染得到的虚拟场景人脸作为第二面部图像，通过度量第一面部图像和第二面部图像之间的相似度，对捏脸参数进行多次调整，从而实现捏脸参数估计的目标。该方法需要多轮次的迭代式操作，实用性欠佳。

中国专利申请CN201911014108.5(CN110717977A)中提供了一种游戏角色面部处理方法和相关装置，该方法首先获取真实人脸图像的身份信息和内容特征信息，并基于这些信息预测目标捏脸参数，并渲染生成虚拟图像。该方法通过最小化真实人脸图像和渲染虚拟图像之间的身份信息以及内容特征信息的差异来进行优化。该方法得到弊端在于，往往需要多张人脸图像才能达到比较好的效果。

这类方法对于二维到三维人脸表情迁移有一定启发和借鉴意义，但他们共同的弊端在于，捏脸过程中的身份信息和表情信息耦合在一起，无法实现灵活的人脸表情迁移。然而在实际的人脸表情迁移应用中，往往要求固定三维人脸模型的身份信息，只需要迁移表情信息。

基于以上背景，构建一套可操作性强、适用范围广的二维到三维人脸表情迁移方法及装置，是目前该领域亟需解决的问题。

发明内容