[发明专利]基于光照强度显示虚拟物体的方法及设备

说明书

本申请涉及AR技术领域，提供一种基于光照强度显示虚拟物体的方法及设备，针对摄像头采集的真实环境的各帧彩色图像，分别生成相应的局部光照图，并根据各帧局部光照图包含的像素点的球面坐标，以及获取的摄像头的姿态数据，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图，由于全景纹理贴图是根据实时采集的各帧彩色图像生成的，真实性较高，且不同彩色图像对应的摄像头的姿态数据不同，这样，全景纹理贴图包含了各用户视角下看到的真实环境的纹理数据，当从全景纹理贴图中提取光照强度，保证了光照强度的准确性，从而在根据光照强度显示虚拟物体时，使虚拟物体的表明亮度和光影与真实环境的光照一致，提高虚实融合的真实性。

技术领域

本申请涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种基于光照强度显示虚拟物体的方法及设备。

背景技术

AR技术将虚拟的三维物体、视频、文字、图片等计算机生成的物体实时叠加显示到真实场景中，通过虚实融合实现自然的人机交互，其在医疗卫生、军事仿真、工业维修、教育娱乐等行业具有广泛的应用前景。

AR效果的真实性主要体现在几何一致性、时间一致性和光照一致性上。其中，几何一致性是指计算机生成的虚拟物体在真实环境中的位置、透视和遮挡关系等准确无误；时间一致性是指虚拟物体与真实环境中的物体运动状态相互协调；光照一致性是指虚拟物体与真实物体的明暗关系相互匹配。

在AR体验中，用户对环境的照明有微妙的感觉，当显示的虚拟物体没有光影或光影没有反映真实环境中的光照强度时，用户会感觉到该虚拟物体并不属于该真实环境，降低了AR体验。

因此，令显示的虚拟物体能够匹配真实环境的光照，对于沉浸式和逼真的AR体验是非常重要的。

发明内容

本申请实施例提供了一种基于光照强度显示虚拟物体的方法及设备，用于提高虚拟物体与真实环境融合的真实感。

一方面，本申请实施例提供一种基于光照强度显示虚拟物体的方法，包括：

获取摄像头采集的真实环境的各帧彩色图像，以及惯性测量单元IMU采集的每一帧彩色图像对应的所述摄像头的姿态数据；

针对每一帧彩色图像，生成所述彩色图像对应的局部光照图，并根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；

根据所述全景纹理贴图，提取所述真实环境的光照强度，并根据提取的光照强度，显示虚拟物体。

另一方面，本申请实施例提供一种显示设备所述显示设备支持AR技术，包括摄像头、惯性测量单元IMU、存储器、显示器、处理器，所述摄像头、所述IMU、所述存储器、所述显示器与所述处理器通过总线连接：

所述摄像头用于采集真实环境的彩色图像；

所述IMU用于测量所述摄像头的姿态数据；

所述存储器存储有计算机程序，所述处理器根据所述计算机程序，执行以下操作：

获取所述摄像头采集的真实环境的各帧彩色图像，以及所述IMU采集的每一帧彩色图像对应的所述摄像头的姿态数据；

针对每一帧彩色图像，生成所述彩色图像对应的局部光照图，并根据所述局部光照图的分辨率以及所述摄像头的视场角，确定所述局部光照图中各个像素点的球面坐标；

根据各帧彩色图像对应姿态数据，以及各帧局部光照图各自包含的像素点的球面坐标，将各帧局部光照图统一映射至球面载体上，得到全景纹理贴图；