[发明专利]一种增强现实场景融合及其展示方法

说明书

本发明提供了一种增强现实场景融合及其展示方法，可用于机动车自动驾驶系统的仿真，还可扩展应用于各类以现实环境数据为基础的自动化决策系统。该方法包括以下步骤：S1摄像机标定：根据真实图像获得摄像机的内外参数配置；S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；S3场景融合：将虚拟场景与真实场景进行融合。通过本发明的增强现实技术，可以快速有效的对自动驾驶算法的正确性与性能进行验证。

技术领域

本发明涉及计算机科学与技术领域中的虚拟现实融合领域、计算机三维建模领域、模式识别领域、网络应用技术领域，特别地，涉及一种增强现实场景融合及其展示方法。

背景技术

虚拟现实(virtual reality)，又称虚拟实境，是伴随着计算机图形学技术与模式识别技术发展诞生的一项研究领域，其主要特点与用途是由计算机模拟真实环境中出现的视觉、听觉等信号，并通过各种传感器将这些模拟信号展示给受众，使受众产生身临其境的感觉。增强现实(augmented reality)技术，是虚拟现实的一项现实应用，是指通过技术手段将虚拟的视觉、听觉等信号与现实环境的真实信号进行融合，生成虚拟与现实结合的场景，达到对现实场景增强的目的。随着技术的成熟，增强现实技术越来越应用于社会的方方面面。

机动车自动驾驶系统是近年来工业界研究的热门领域。随着人民生活水平的提高，小轿车等交通工具成为人们主要的代步工具，而交通工具的智能化，将越来越简化出行，为大众提供更多的生活便利。通常情况下，自动驾驶系统的开发需要经历漫长的开发、测试、验证、应用过程，这一过程通常是及其复杂和反复的，如果训练自动驾驶系统所需要的大量的训练数据全部从真实环境中采集，将耗费大量的人力、财力、物力。而虚拟仿真作为一种低成本、快速迭代、可复现的测试方法，为自动驾驶系统验证提供了一种良好的替代手段。通过增强现实技术，可以快速有效的对自动驾驶算法的正确性与性能进行验证。本申请提出一种增强现实场景融合及其展示方法，该方法不仅可以用于机动车自动驾驶系统的仿真，还可扩展应用于各类以现实环境数据为基础的自动化决策系统。

发明内容

本发明的第一个方面，是提供一种用于自动驾驶仿真的增强现实场景融合方法，该方法包括下列步骤：

S1摄像机标定：根据真实图像获得摄像机的内外参数配置；

S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；

S3场景融合：将虚拟场景与真实场景进行融合。

本发明的第二个方面，是提供一种增强现实场景融合及其展示方法，该方法包括下列步骤：

S1摄像机标定：根据真实图像获得摄像机的内外参数配置；

S2场景重建：通过真实环境中可用的传感器组，建立真实世界的三维描述，并对真实场景中可识别目标的坐标、类别特征进行标注；

S3场景融合：将虚拟场景与真实场景进行融合，所述步骤S2场景重建包括：将二维图像坐标反推三维世界坐标，从而恢复三维场景；其中对于多幅图像的配准，首先采用SIFT算子方法提取出特征点，然后利用外极线约束剔除局外点，最后利用互相关匹配公式进行对应点计算。

优选的，所述步骤3)的场景融合包括：

S31初始化融合引擎：所述融合引擎包括虚拟场景管理、真实场景管理和融合计算三个模块，还包括将所述虚拟场景生成引擎生成的虚拟图像叠加到真实图像的应用软件；所述虚拟场景管理模块用于生成虚拟摄像机和虚拟目标物；

S32根据所述步骤S1的摄像机标定结果，设定虚拟摄像机的参数；根据来自步骤S2的设定数据，初始化虚拟场景中需要设置的目标物；

S33建立t时刻的虚拟场景环境，包括虚拟目标物及其特征；