[发明专利]用于个性化3D头部模型变形的方法和系统

说明书

一种电子装置，其执行用于生成三维(3D)头部变形模型的方法，该方法包括：接收二维(2D)面部图像；基于人工智能(AI)模型，识别2D面部图像中的第一组关键点；基于位于3D头部模板模型上的一组用户提供的关键点注释，将第一组关键点映射到位于3D头部模板模型的网格的多个顶点上的第二组关键点；通过减小第一组关键点与第二组关键点之间的差异，对3D头部模板模型的网格执行变形，以获得变形的3D头部网格模型；以及对经变形的3D头部网格模型应用混合形状方法，以根据2D面部图像获得头部模型。

相关申请的交叉引用

本申请是题为“METHODS AND SYSTEMS FOR PERSONALIZED 3D HEAD MODELDEFORMATION”并且于2021年3月15日提交的美国专利申请第17/202,112号的继续申请并且要求该美国专利申请的优先权，该美国专利申请的全部内容通过引用并入本文中。

技术领域

本公开内容总体上涉及图像技术，并且特别地涉及图像处理和头部/面部模型形成方法和系统。

背景技术

具有多个传感器(例如，多视角摄像装置、深度传感器等)的商业面部捕获系统用于获得具有或不具有显式标记的人的准确三维(three-dimensional，3D)面部模型。这些工具从多个传感器捕获人类面部的几何形状和纹理信息，并且将多模态信息融合到一般的3D面部模型。受益于来自各种传感器的多模态信息，获得的3D面部模型是准确的。然而，这些商业系统昂贵，并且需要额外购买软件来处理原始数据。此外，这些系统通常部署在面部捕获工作室处，需要参与者或志愿者以获取数据，这使得数据收集过程耗时且甚至成本更高。简言之，面部捕获系统获取3D面部数据是昂贵且耗时的。相反，智能电话或摄像装置现今广泛可用，因此潜在地存在可用的大量RGB(红、绿、蓝)图像。将RGB图像作为输入来产生3D面部模型可以受益于大量的图像数据。

二维(two-dimensional，2D)RGB图像仅是3D世界到2D平面的投影。根据2D图像恢复3D几何形状是不适定的问题，其需要优化或学习算法来调整重建过程。对于3D面部重建，已经开发和使用了基于参数化的面部模型3D形变模型(3D Morphable Model，3DMM)的方法。特别地，像巴塞尔面部模型(Basel Face Model，BFM)和萨里面部模型(Surrey FaceModel，SFM)这样的面部模型是常用的面部模型，它们需要商业许可。基于面部模型的方法将一组扫描的3D人类面部模型(演示各种面部特征和表情)作为其基础，然后基于3D面部模型来产生面部特征和表情的参数化表示。可以基于参数化将新的3D面部表示为基础3D面部模型的线性组合。由于这些方法的本质，用于形成基础的3D面部模型和参数空间限制了基于面部模型的方法的表达性。此外，根据输入的面部图像或2D特征点来拟合3DMM参数的优化过程还牺牲了面部图像中的详细面部特征。因此，基于面部模型的方法不能准确地恢复3D面部特征，并且还需要商业许可来使用诸如BFM和SFM的面部模型。

随着深度学习算法的普及，语义分割算法已得到大量的关注。这样的算法可以将面部图像中的每个像素划分成例如背景、皮肤、头发、眼睛、鼻子和嘴巴等不同的类别。

虽然语义分割方法可以实现相对准确的结果，但是所有像素的语义分割是非常复杂的问题，其通常需要复杂的网络结构，从而导致高计算复杂度。此外，为了训练语义分割网络，需要对大量的训练数据进行标注，并且语义分割需要对整个图像的像素进行划分，这非常繁琐、费时且成本高。因此，语义分割不适合于不需要高平均颜色准确度但需要高效率的场景。

优化拉普拉斯和其他导出算子的关键点驱动变形方法在学术界已得到良好的研究。双谐波变形的数学表达可以被表示为Δ²x′＝0。受约束的关键点，即边界条件，可以被表达为xb′＝x_bc。在以上等式中，Δ是拉普拉斯算子，x′是未知的变形网格顶点的位置，并且x_bc是变形之后的给定关键点的位置。在每个维度中需要双拉普拉斯方程的解。双谐波函数是双拉普拉斯方程的解，但也是所谓的“拉普拉斯能量”的极小(minimizer)。