[发明专利]对相对于参照对象和参照虚拟视点的3D照明参数进行基于阴影的估计

说明书

本公开提供了一种用于处理图像的方法和设备。在一个实施方案中，该方法包括接收具有多个真实对象的场景的图像，并且确定这些真实对象中的至少一个真实对象是否是存储在数据库中的参照对象。随后，当可用时，检索识别到的参照对象的候选阴影映射，并且当无法识别参照对象时，选择具有足够参数的场景中的对象，并且使用所述照明参数计算该新的参照对象的候选阴影映射。

技术领域

本公开一般涉及用于混合现实的照明，并且更具体地，涉及对相对于参照虚拟视点的场景进行照明估计。

背景技术

当今，大多数消费设备可使用集成像素级的光的单个传感器通过数字的方式捕获图像或视频。然而，当真实场景与通常具有虚拟性质的计算机生成的项目混合时，照明评估和信息变得非常重要。在混合现实中，在真实对象和虚拟对象被插入到真实场景的3D模型的情况下，虚拟对象的照明是关键特征以便提供场景的现实方面。应当通过模拟场景的真实照明来正确地照亮虚拟对象。然而，照明环境可能会发生动态变化。因此，必须持续估计真实场景的3D照明。

遗憾的是，估计出准确的照明条件在混合现实应用中是一项很耗时的任务，尤其是在处理实时渲染的情况下。由虚拟对象将渲染阴影投射到真实场景上至关重要。两种主要特征有助于提升投射阴影的真实感。一个因素是阴影的位置/定向，第二个因素是因暗色表面的颜色强度的衰减得出的强度。提供一组虚拟照明模型以创建硬阴影：点光源、聚光光源或定向照明。但是提供此类照明在实时渲染中是很耗时且难以完成的任务。因此，需要提供简化这项任务并且创建真实渲染的技术。如果此类技术能够在每个设备上(包括在移动设备上)提供渲染后的图像，那么这将是有益的。

发明内容

附加的特征和优点通过类似的技术实现并且其它实施方案和其它方面在本文中得到详细地描述并且被视为所要求保护的发明的一部分。为了更好地理解本发明的优点和特征，请参阅说明书和附图。

本公开提供了一种用于处理图像的方法和设备。在一个实施方案中，该方法包括接收具有多个真实对象的场景的图像，并且确定这些真实对象中的至少一个真实对象是否是存储在数据库中的参照对象。随后，当可用时，检索识别到的参照对象的候选阴影映射，并且当无法识别参照对象时，选择具有足够参数的场景中的对象，并且使用照明参数计算该新的参照对象的候选阴影映射。

在另一个实施方案中，在该方法步骤之后，然后将参照对象存储在数据库中(这甚至可以是参照对象模型)以及将其候选阴影映射存储在数据库中。然后从数据库检索对象，使得该对象与所述场景中的真实对象的一个或多个特性匹配。使用所述照明参数提供出现在场景中的参照对象的阴影映射。

附图说明

通过结合附图考虑以下详细的描述，可易于理解本公开的教导内容，其中：

图1是根据一个实施方案的基于对一组点光源进行估计的所描述的3D照明过程的图示；

图2A和图2B分别是阴影掩模和阴影映射的示例的图示；

图3是对象包括在其上投射阴影的平坦基底的实施方案的图示；

图4是由真实设备摄像机和虚拟参照视点观察到的参照对象的图示；

图5是2个移动设备视点的示例的图示；

图6A和图6B是分别提供有可见参照对象和不可见参照对象的虚拟参照视点的阴影映射的示例；

图7是示出由于拍摄角度导致的阴影可见度的问题的示例；

图8是当阴影重叠时的轮廓的示例的图示；

图9是一个实施方案的流程图图示；并且

图10示意性地示出了根据一个或多个实施方案的编码和解码系统的一般概览。