[发明专利]一种基于增强现实的虚实互反射方法、装置、介质及设备

说明书

本申请涉及增强现实技术领域，提供一种基于增强现实的虚实互反射方法等。本申请进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体互反射数据的合成结果。本申请基于虚实融合的思想，对不同反射信息分开处理，再利用多图层框架技术灵活快速地存储反射信息，最终实现了虚实物体的互反射。

技术领域

本申请涉及增强现实(AR)技术领域，具体而言，涉及一种基于增强现实的虚实互反射方法、装置、介质及设备。

背景技术

虚实融合是增强现实(AR)领域的最终目的，即将真实场景与虚拟场景无违和的叠加。而光照一致性是虚实融合研究的关键问题之一，是指光源对真实场景与虚拟场景的阴影分布、明暗效果与现实效果一致。他体现了现实场景中的光照对虚实对象产生的影响，如明暗、阴影、反射等。

目前市面上的虚拟演播厅或者AR应用等节目中，大多场景侧重于对虚实物体明暗和阴影效果的处理，缺乏在动态光照下现实物体对虚拟物体及虚拟物体对周围环境反射效果的研究。

在有反射的场景中，基本都是虚拟物体对虚拟环境的反射，没有虚拟物体对现实环境的反射。该难点在于实时获得现实环境的材质信息难度高，各材质的漫反射分量、镜面反射分量信息计算量大，不可控因素多。

随着材质多样性、场景复杂性的增加，仅实现虚实物体的阴影融合是不够的，物体的材质体现光线是如何被反射，描述了物体对光线的反射特征，如反射光的强度、颜色信息等。良好的反射能进一步加深虚实结合场景的真实感和沉浸感。

发明内容

本申请提供一种基于增强现实的虚实互反射方法、装置、介质及设备，以解决现有技术的技术问题。本申请基于虚实融合的思想，对不同反射信息分开处理，再利用多图层框架技术灵活快速地存储反射信息，最终实现了虚实物体的互反射，体现了光照一致性，达到了实时性。

本申请的实施例通过如下方式实现：

一种基于增强现实的虚实互反射方法包括：进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；将所述虚拟物体在现实环境的反射数据渲染处理后形成虚拟到现实环境反射层；同时，将所述现实物体模型在虚拟物体上的反射数据渲染处理后作为现实到虚拟物体反射层；将虚拟到现实环境反射层、现实到虚拟物体反射层、现实环境层以及虚拟物体渲染层进行虚实融合，获取带有虚实物体互反射的合成结果。

优选的，所述现实到虚拟物体反射层具体形成过程是：将所述现实物体模型导入三维渲染引擎地图中，并对现实物体模型进行纹理贴图，边缘平滑操作；利用BRDF反射算法计算现实物体模型在虚拟物体上的反射数据作为现实到虚拟物体反射层；同时剔除现实场景物体模型，不渲染现实物体模型。

优选的，所述虚拟到现实环境反射层具体形成过程是：将虚拟物体进行预处理，即利用虚拟物体的alpha通道，进行边缘平滑操作；参考全局光照明模型，计算现实背景中现实物体的反射系数k；根据公式reflection＝k*fg+(1-k)*bg近似插值计算虚拟物体到现实物体模型的反射数据，所述反射数据形成虚拟到现实环境反射层。

一种基于增强现实的虚实互反射装置，其特征在于，包括：

虚实三维场景形成模块，用于进行现实场景建模,形成现实环境层；所述现实环境形成现实物体模型bg；虚拟物体渲染层形成虚拟物体fg；通过对虚实场景进行标定、配准，用以实现现实环境与虚拟场景处于同一的世界坐标系；其中，所述虚拟物体渲染层通过虚拟场景形成；