[发明专利]用于在真实环境的视图中表示虚拟对象的方法和系统

说明书

本发明涉及用于在真实环境的视图中表示虚拟对象的方法和系统，该方法包括如下步骤：提供由第一相机捕获的人脸的至少部分的第一图像的图像信息；提供至少一个人脸具体特性；将面部的图像区域的至少部分确定为第一图像的面部区域；根据第一图像的面部区域和至少一个人脸具体特性确定落在面部上的至少一个第一光；和根据至少一个第一光在显示装置上在真实环境的视图中调和虚拟对象。还包括：提供多个面部采样位置；为每个面部采样位置提供辐射传输函数；确定第一图像中的面部采样位置的至少部分的图像位置；根据与第一图像中的面部采样位置的至少部分的图像位置有关的强度信息和与面部采样位置的至少部分有关的辐射传输函数确定至少一个第一光。

本申请是申请日为2015年3月25日、申请号为201510134695.7、名称为“用于在真实环境的视图中表示虚拟对象的方法和系统”的发明专利申请的分案申请。

技术领域

本公开内容涉及用于在真实环境的视图中表示虚拟对象的方法和系统。

背景技术

在增强现实(Augmented Reality,AR)中，真实环境的视图(例如真实环境的视频图像)与一个或多个虚拟对象的叠加在空间关系上结合，从而结合至真实环境。对于许多AR应用，虚拟对象应该无缝地集成在视图中，使得真实和虚拟对象无法区分开。因此，重要的是，利用在真实世界中可见的相同照明条件来照亮或者显示虚拟对象以及使虚拟对象改变光照，例如通过将阴影投射在来自现实场景的部件(部分)上。对于增强现实场景，照明条件通常是未知并且随机的，因此对于现实和虚拟对象通常难以或者甚至不可能具有一致的照明。

在AR应用中对于现实和虚拟对象具有一致照明的可能方式是估计从真实环境发出的光。现有技术中的常规方法需要附加装置(例如镜子或者特殊相机(例如鱼眼相机)，以便估计环境光。这无疑限制了这些方法的可应用性。此外，大部分常规方法仅仅能估计环境光的方向，但是不能估计任何光源的位置。

一种估计或者捕获环境光的方法是通过全景相机(如参考文献[3]中所描述的)或者通过捕获镜面球的图像(如参考文献[2]中所描述的)生成真实环境的全景图像。根据全景图像可以直接测量环境光。这种方法的一个问题是必须要附加设备，例如该附加设备需要鱼眼相机镜头或者镜面球，其中添加到场景的额外对象改变了原始场景。此外，该方法测量环境光的方向。

估计环境光的另一方法是基于真实环境的图像和真实环境的已知模型。例如，Gruber等人在参考文献1中提出了使用RGB-D相机来捕获真实环境的深度图像，然后重构真实环境的表面。可以从基于深度数据的表面信息以及来自RGB-D相机的RGB数据的纹理信息估计环境光。

发明内容

因此，期望提供一种在真实环境的视图中表示虚拟对象的方法，该方法能够提高增强现实应用的可应用性，尤其是在具有未知照明条件的环境中。

根据一个方面，公开了一种在真实环境的视图中表示虚拟对象的方法，包括提供由第一相机捕获的人脸的至少部分的第一图像的图像信息、提供至少一个人脸具体特性(human face specific characteristic)、将第一图像中的面部的图像区域(图像面积，图像平面，image area)的至少部分确定为第一图像的面部区域(脸部区域，face region)、根据第一图像的面部区域和至少一个人脸具体特性来确定落在脸上的至少一个第一光、以及根据该至少一个第一光在显示装置上在真实环境的视图中调和(blending in)虚拟对象。

更具体地说，根据一个方面，公开了一种在真实环境的视图中表示虚拟对象的方法，包括：

a)提供由第一相机捕获的人脸的至少部分的第一图像的图像信息，

b)提供至少一个人脸具体特性，其中，所述至少一个人脸具体特性包括面部的至少部分的辐射传输特性，

c)将第一图像中的面部的图像区域的至少部分确定为该第一图像的面部区域，