[发明专利]用于实时、物理准确且逼真的眼镜试戴的流程和方法

说明书

本发明旨在提供一种用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：‑100、一个人脸分析过程，该过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；‑200、一个眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，适于步骤100中计算得到的形态参数；‑400、一个逼真渲染过程，该过程中将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。

本发明涉及图像处理和图像合成领域，具体涉及虚拟对象到相片或视频的实时集成。

背景技术

本发明是对相同申请人的其他发明的改进。

本发明的情境是尽可能逼真地对一个对象进行实时虚拟试戴，这些对象通常是但不限于集成到相片或视频中的眼镜，这些相片或视频呈现大体上位于相机前方的人脸。

网络销售增长、库存有限或其他任何防止或妨碍对真实对象进行真实试穿的原因催生了对真实对象进行虚拟试穿的需要。就眼镜而言，目前基于虚拟现实或增强现实的解决方案是不充分的，因为这些方案缺乏逼真度或互动性。此外，这些方案的计算大多需要大量数据和时间。

相同申请人于2010年1月18日申请的专利申请FR 1050305已在本领域公开。

发明内容

本发明首先旨在提供一种用于创建一个真实用户脸部图像上的一副虚拟眼镜的最终实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：

-100、一个人脸分析过程，所述过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；

-200、一个眼镜定位过程，所述过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的形态参数；

-400、一个逼真渲染过程，所述过程用于将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。

在多个实施方式中，可以在技术上可行的情况下结合使用：

-步骤100还包括估计用户脸部的表情参数。

-步骤100还包括估计固有相机参数。

-步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。

-步骤200包括两次眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，所述过程适于步骤100中计算得到的形态参数。

-本方法还包括一个人脸跟踪算法的步骤300，该算法给出位置和旋转，并允许实时改进来自多个图像的人脸参数。

-步骤400包括估计不透明度校正和色调映射参数。

-本方法包括：

-使用一个平行处理流水线对图像采集、场景分析过程和渲染进行去相关；

-一个快速3D人脸姿态恢复过程；

-使用一个头部运动模型和控制过滤器始终向渲染过程提供每一帧处的平滑的3D姿态。

-在步骤100的实时人脸分析过程中，使用脸部用户模型和与检测到的特征的相对应的图像轮廓和3D语义点来对参数(用户脸部的3D旋转矩阵R、3D平移矢量T、形态参数α和表情参数β)进行估计。在这种情况下，具体来说，使用多于一个图像对参数进行估计。