[发明专利]检测真实世界光源的方法、混合实境系统及记录介质

说明书

本发明公开一种检测真实世界光源的方法、混合实境系统及记录介质。此方法适用于具有计算装置及头戴式显示器的混合实境系统。此方法分析多个连续图像的多个光线区域，并根据对应连续图像的头戴式显示器的坐标位置投影每一光线区域产生三维向量。之后，将三维向量进行分群，以预测当前图像中的方向光。最后，计算三维向量之间的多个交集点，并根据交集点预测当前图像中的点光源。

技术领域

本发明涉及一种混合实境的技术，且特别涉及一种混合实境中检测真实世界光源的方法、混合实境系统及记录介质。

背景技术

混合实境(Mixed Reality，MR)是一种利用计算机模拟技术将虚拟世界迭加或融合于真实世界产生三维空间中混合世界的技术。藉由将虚拟画面显示在使用者配戴的头戴式显示器(head-mounted display，HMD)上，使用者可同时观看到真实世界的物理实体和数字虚拟物体共存，而可提供一个以视觉为主且结合听觉、触觉等感知的混合环境。体验混合实境的使用者如同身处在真实世界，并可以与混合环境中的物理实体或虚拟物体互动。

真实世界的物理实体和虚拟物体会共存在混合环境，为了渲染出符合真实世界的虚拟物体，在建立混合环境时需要建立真实世界的光线数据。一般来说，真实世界的光线数据可以通过当前图框的图像强度(intensity)的平均值及当前图框的色温(colortemperature)的平均值来产生。然而，利用当前图框强度的平均值及色温的平均值来决定光线数据，虚拟物体所受的照光在混合环境中的任何位置都会相同。因此，会造成在虚拟物体接近光源而单侧所受的照光较强时，虚拟物体所受的照光无法符合物体在真实世界中实际所受的照光的情形，并且也无法产生符合实际照光的阴影，而使得虚拟物体没有真实感。

发明内容

有鉴于此，本发明提供一种混合实境中检测真实世界光源的方法、混合实境系统及记录介质，其可利用图像检测方向光(directional light)与点光源(point light)在混合实境空间中的位置以产生光线数据。

本发明提供一种混合实境中检测真实世界光源的方法，适用于具有计算装置及头戴式显示器的混合实境系统，其中所述头戴式显示器包括图像提取装置，所述方法包括下列步骤：分析多个连续图像的多个光线区域，并根据对应所述连续图像的所述头戴式显示器的坐标位置投影每一所述光线区域产生三维向量，其中所述连续图像包括当前图像；将所述三维向量进行分群，以预测所述当前图像中的方向光；以及计算所述三维向量之间的多个交集点，并根据所述交集点预测所述当前图像中的点光源。

在本发明的一实施例中，上述的分析所述连续图像的所述光线区域的步骤包括：根据所述连续图像的亮度分割所述连续图像，以产生多个候选区域；以及选择像素的平均亮度大于亮度阈值的所述候选区域作为所述光线区域。

在本发明的一实施例中，上述的根据对应所述连续图像的所述头戴式显示器的所述坐标位置投影每一所述光线区域产生所述三维向量的步骤包括：根据对应所述连续图像的所述头戴式显示器的所述坐标位置，利用对应所述连续图像的所述图像提取装置的内部参数与姿态投影每一所述光线区域至三维空间，以获取所述光线区域对应于所述头戴式显示器的所述三维向量。

在本发明的一实施例中，上述的将所述三维向量进行分群，以预测所述当前图像中的所述方向光的步骤包括：利用分群法将所述三维向量进行分群，以产生多个光线分群；以及根据每一光线分群的信赖度与一信赖度阈值，从所述光线分群中决定所述方向光。

在本发明的一实施例中，上述的利用所述分群法分群所述三维向量的步骤包括：针对包括一方向向量的所述三维向量进行分群。

在本发明的一实施例中，上述的分群法包括K-means分群法或Mean-shift分群法。