[发明专利]用于车载增强虚拟现实系统的系统和方法

说明书

提供了通过提供沉浸式体验来娱乐车辆乘客的系统和方法。在一个实施例中，方法包括：从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘了该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；通过处理器，用定位法来融合该图像数据和该兴趣点数据；通过处理器，基于用户装置的位置来定向融合图像数据；以及通过处理器，在该用户装置的虚拟现实显示器上渲染定向的融合数据。

技术领域

本发明总体上涉及虚拟现实，且更具体地涉及将虚拟现实体验整合到使用多视角摄像机的车辆、传感器融合以及兴趣点信息中的系统和方法。

车辆感知系统包括若干个摄像机。这些摄像机与车身融为一体，并且拍摄该车辆周围的环境。为了以自主或者部分自主的方式来控制该车辆，要对这些摄像机的输出进行分析。

后座乘客的视角通常会受到窗口大小和乘客相对位置的限制。因此，乘客不能在长途旅行的过程中享受全景。相应地，为了提供该景观的虚拟真实视角，需要提供用于平衡这些车辆摄像机的系统和方法。更需要在长途旅行的过程中为乘客提供附加信息。此外，结合附图以及前述的技术领域和背景技术，通过随后的详细描述和所附权利要求，本发明的其他期望特征和特性将变得显而易见。

发明内容

本发明提供了通过提供沉浸式体验来娱乐车辆乘客的系统和方法。在一个实施例中，方法包括：从耦合到该车辆的多个摄像装置接收图像数据，其中，该图像数据描绘该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；通过处理器，用定位法来融合该图像数据和该兴趣点数据；通过处理器，基于用户装置的位置来定向融合图像数据；以及通过处理器在该用户装置的虚拟现实显示器上渲染定向的融合数据。

在各种实施例中，该融合是基于概率优化方法的。在各种实施例中，该融合还基于惯性测量单元数据、全球定位系统数据以及该图像数据的融合，以确定车辆在第一坐标系中的位置、方向和速度。在各种实施例中，该融合还基于融合图像数据和惯性测量数据以获得结果并且将该结果与全球定位系统数据融合。

在各种实施例中，该融合是基于图形姿态优化的。在各种实施例中，该融合还基于融合全球定位系统数据和惯性测量单元数据以获得结果并将结果与该图像数据融合。

在各种实施例中，该融合基于图形姿态优化和扩展卡尔曼滤波。

在各种实施例中，该融合还包括将全球定位系统数据、惯性测量单元数据、摄像机数据以及兴趣点数据融合到单个坐标系中；并且将融合后的数据转换到第二坐标系中，其中该第二坐标系是该用户装置中的坐标系。在各种实施例中，该定向包含将转换后的数据从该第二坐标系定向到第三坐标系中，其中，该第三坐标系基于该用户装置的定向。

在各种实施例中，该兴趣点数据包括相对于该点的姓名、标识、地址、联系信息、销售信息、营业时间，及历史事实中的至少一个。

在另一实施例中，提供了用于车辆的虚拟现实系统。该虚拟现实系统包括被配置为分布在该车辆上的多个摄像装置，这些摄像装置感测与该车辆相关联的环境；以及控制器，该控制器配置成通过处理器从耦合到该车辆的多个摄像装置上接收图像数据，其中，该图像数据描绘该车辆周围的环境；接收与该车辆的环境相关联的兴趣点数据；融合该图像数据和该兴趣点数据；基于用户装置的位置来定向融合图像数据；以及在用户设备的虚拟现实显示器上渲染该定向的融合数据。

在各种实施例中，该控制器基于概率优化法进行融合。在各种实施例中，该控制器还基于惯性测量数据、全球定位系统数据和该图像数据的融合进行融合，以确定该车辆在第一坐标系中的位置、方向和速度。在各种实施例中，该控制器还基于融合图像数据和惯性测量数据以获得测量结果并将该结果与全球定位系统数据进行融合。

在各种实施例中，该控制器基于图形姿态优化法进行融合。在各种实施例中，该控制器还基于融合全球定位系统数据和惯性测量单元数据进行融合，以获得结果并且将该结果和该图像数据融合。