[发明专利]用于实时、物理准确且逼真的眼镜试戴的流程和方法

权利要求书

1.用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：

-步骤100、一个人脸分析过程，所述人脸分析过程用于估计所述用户脸部的3D旋转矩阵、3D平移矢量和形态参数；

-步骤200、一个眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，该眼镜定位过程用于估计所述虚拟眼镜的3D旋转矩阵、3D平移矢量、和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数；

-步骤400、一个逼真渲染过程，所述逼真渲染过程与将所述真实用户脸部图像与在步骤200中定位的所述虚拟眼镜进行结合，

其中所述虚拟眼镜的全局与局部变形参数包括所述虚拟眼镜的眼镜腿的非刚性变形。

2.根据权利要求1所述的方法，其中所述方法还包括一个人脸跟踪算法的步骤300，所述人脸跟踪算法提供位置和旋转，并允许实时改进来自多个图像的人脸参数，根据跟踪分数选取多个关键帧，所述多个关键帧具有关联跟踪点和估计参数，从所述多个关键帧中选择就参数距离而言的一个最近的关键帧作为跟踪过程中使用的当前关键帧。

3.根据权利要求2所述的方法，其中，所述步骤300还包括一个多分辨率模板跟踪过程，以通过2D模板跟踪在当前图像中找到响应的匹配。

4.根据权利要求1所述的方法，其中，所述步骤100还包括估计所述用户脸部的表情参数。

5.根据权利要求1所述的方法，其中，所述步骤100还包括估计固有相机参数。

6.根据权利要求1所述的方法，其中，所述步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。

7.根据权利要求1所述的方法，其中，所述步骤200包括两次眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，所述两次眼镜定位过程用于估计所述虚拟眼镜的所述3D旋转矩阵、所述3D平移矢量、和所述全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数。

8.根据权利要求1所述的方法，其中，所述步骤400包括估算不透明度校正和色调映射参数。

9.根据权利要求1所述的方法，其中，所述方法包括：

-使用一个平行处理流水线对图像采集、场景分析过程、和渲染进行去相关；

-一个快速3D人脸姿态恢复过程；

-使用一个头部运动模型和控制过滤器始终向所述渲染过程提供每一帧处的平滑的3D姿态。

10.根据权利要求1所述的方法，其中，在所述步骤100的所述实时人脸分析过程中，使用脸部用户模型和与检测到的特征相对应的图像轮廓和3D语义点来对参数进行估计，所述参数包括所述用户脸部的3D旋转矩阵R、3D平移矢量T、形态参数α和表情参数β。

11.根据权利要求10所述的方法，其中，使用多于一个图像对参数进行估计。

12.根据权利要求1所述的方法，其中，所述眼镜定位过程包括：

-a、一个离线处理步骤，该步骤用于根据精确参数化的一个3D模型来创建一个对称和分割的眼镜对象，以及用于在参考系统中对眼镜进行重新定位，所述分割的眼镜对象包括眼镜腿和眼镜框，

-b、一个在线实时处理步骤，通过结合与所述分割的眼镜对象的属性相关的约束和所述眼镜腿与所述眼镜框之间的机械约束，该步骤估计在不发生相互穿插的情况下所述眼镜的定位参数，所述眼镜定位参数是3D旋转矩阵R、3D平移矢量T、眼镜腿开放角度和变形参数D。