[发明专利]用于虚拟场景的数据处理方法以及设备

说明书

本申请提供了用于虚拟场景的数据处理方法以及设备，该方法包括：第一终端通过相机采集第一图像，第一图像包括物体的图像；根据第一图像，获得所述物体的第一点云数据；第一点云数据表示所述物体的表面点在第一终端的第一相机坐标系中的三维坐标值；根据第一图像，获得第一终端在第一相机坐标系中的位姿数据；根据位姿数据、第一点云数据和第一图像，获得二维特征图像；根据第一点云数据、位姿数据和二维特征图像生成地图数据；向第二终端或服务器发送所述地图数据。实施本申请能够实现相同款或不同款的终端在任意自然场景中跨平台实现虚拟场景的坐标系同步，兼容各种空间定位引擎，满足用户需求。

技术领域

本发明涉及虚拟场景技术领域，尤其涉及用于虚拟场景的数据处理方法以及设备。

背景技术

虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)技术是近年来新兴的多媒体虚拟场景技术。其中，VR技术是一种可以创建和体验虚拟世界的仿真技术，AR技术是一种可以将虚拟现实和真实世界叠加并进行互动的技术。MR技术是通过合并真实世界和虚拟世界而产生的新的可视化环境，并且在真实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路的综合技术。

在上述虚拟场景技术中，通常采用同时定位与建图(Simultaneous Localizationand Mapping，SLAM)技术进行终端自身在环境中的定位。SLAM技术具体可实现终端(例如手机、VR眼镜等移动终端)在环境中从一个未知位置开始移动时,在移动过程中根据位置估计和地图进行自身定位,同时在自身定位的基础上建造增量式地图，以便于后续的定位，采用SLAM技术的系统或模块又可称为空间定位引擎。

在多用户交互的虚拟场景中，不同移动终端的类型或型号可能不同(如手机与VR眼镜、或者苹果手机与华为手机)，它们具有的空间定位引擎算法也各有差异。不同移动终端之间的坐标系同步(内容同步)是核心技术，通过坐标系同步可实现多用户VR或AR或MR应用中的虚拟内容在同一个坐标系空间共享和交互。

一种现有方案是基于规则几何形状平面(例如正方形桌面)实现坐标系同步。具体如下：移动终端利用计算当前所在位置水平桌面的中心点坐标，作为终端参考坐标系原点。然后利用桌面边缘信息计算参考坐标系的坐标轴。进而，建立终端参考坐标系。不同用户的移动终端计算过程皆如此，从而建立相同的参考坐标系，利用移动终端空间定位引擎输出的位姿，即可计算终端相对参考坐标系的位姿，进而计算出终端之间的相对位姿，从而实现坐标系同步。该方案可以实现不同款的移动终端在同一桌面上实现多用户VR或AR或MR应用交互。

由于这种方案依赖于规则几何形状平面，应用场景受到局限，在任意平面或非平面场景，此方案将无法实现坐标系同步。

发明内容

本发明实施例提供了用于虚拟场景的数据处理方法以及设备，能够实现不同款的终端在任意自然场景中跨平台实现虚拟场景的坐标系同步(内容同步)，兼容各种空间定位引擎，满足用户需求。

第一方面，本发明实施例提供了一种用于虚拟场景的数据处理方法，所述虚拟场景为虚拟现实VR场景、增强现实AR场景、混合现实MR场景中的一种。所述方法包括：第一终端通过相机采集第一图像，所述第一图像包括任意自然环境(真实世界)中的任意物体的图像；所述第一终端根据所述第一图像，获得所述物体的第一点云数据；所述第一点云数据表示所述物体的表面点在所述第一终端的第一相机坐标系中的三维坐标值；所述第一终端根据所述第一图像，获得所述第一终端在所述第一相机坐标系中的位姿数据；所述第一终端根据所述位姿数据、所述第一点云数据和所述第一图像，获得二维特征图像；所述第一终端根据所述第一点云数据、所述位姿数据和所述二维特征图像生成地图数据；所述第一终端向第二终端或服务器发送所述地图数据。

其中，当第一终端向第二终端发送所述地图数据时，所述第二终端可用于根据所述地图数据对虚拟场景中的内容进行同步操作；第一终端和第二终端所采用的空间定位引擎可以是不同的，也可以是相同的。