[发明专利]沉浸式直播的信息显示方法及系统、信息推送方法

说明书

本公开关于一种沉浸式直播的信息显示方法及系统、信息推送方法，在进入预设沉浸式直播模式时，直播设备基于当前直播位置的位置数据以及全局真实场景的地图数据，将虚实融合数据渲染的立体图像投射至直播设备的显示模块上，以显示虚实融合图像；云服务器，基于主播用户对于局部虚拟场景的交互数据，将局部虚拟场景与直播设备采集的眼位视频数据进行合成处理，得到虚实融合数据；虚拟现实设备，接收虚实融合数据，对虚实融合数据中的眼位图像进行变形处理，得到对应于虚拟现实设备的视角图像；将视角图像分别投射至虚拟现实设备中每个眼位所处的眼位区域，显示三维虚实图像。

技术领域

本公开涉及信息处理技术领域，尤其涉及沉浸式直播的信息显示方法及系统、沉浸式直播的信息推送方法。

背景技术

相关技术中，在线下显示空间(文旅景区、商场商圈等，本申请中以文旅场景为案例进行示意说明，商场商圈为相似)的运营中，因具有很强的实时性和真实感，直播已经成为线下主播和线上用户进行互动的主流形式。然而随着直播业务的深入，目前的直播技术遇到的瓶颈也越发明显，一方面手机直播受限于手机的单屏幕大小和有限视野限制，尤其是在文旅自然景观的展现，线上用户的沉浸感不够强。另一方面线下显示空间的布局通常很难发生变化，尤其是文旅人文景观的展示，线上用户难以保持长久的新鲜感。新鲜感和沉浸感限制了直播对于线上用户的长久吸引力。

例如，在相关技术中，采用自制的AR眼镜实现智慧导览系统时，容易受限于物理空间约束，无法将这种体验拓展到更广泛的线上用户，尤其是现场的沉浸感也无法采用现有的视频直播系统进行有效的传递。

而在另一种实施方案中，利用设置在主播端的AR投射设备来查看观众端的反馈，可以不影响主播驾驶员的操作，但是这种直播方式，存在明显的弊端：以现有视频直播技术为主，在现有直播技术链路中，将汽车驾驶场景展示出来，但是这种方式不具备强的沉浸感，缺乏真实场景的立体感、虚实融合场景的真实感等。

发明内容

本公开提供一种沉浸式直播的信息显示方法及系统、信息推送方法，以至少解决相关技术中视频直播过程中，无法为线上用户提供虚实融合场景，缺乏真实场景的立体感，降低沉浸感的技术问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种沉浸式直播的信息显示方法，包括：在进入预设沉浸式直播模式的情况下，获取当前直播位置的位置数据以及全局真实场景的地图数据；基于所述位置数据和所述地图数据，将虚实融合数据渲染的立体图像投射至直播设备的显示模块上，以显示虚实融合图像，其中，所述虚实融合数据中至少包含：所述直播设备拍摄的局部真实场景以及与所述局部真实场景对应的局部虚拟场景，所述局部真实场景为所述全局真实场景中的部分区域场景。

根据本公开实施例的第二方面，提供一种沉浸式直播的信息推送方法，应用于云服务器，所述云服务器与直播设备连接，所述直播设备执行上述所述的沉浸式直播的信息显示方法，沉浸式直播的信息推送方法包括：接收直播设备传输的眼位视频数据和主播用户对于局部虚拟场景的交互数据，其中，所述眼位视频数据为所述直播设备采集主播用户当前所处的直播位置的视频数据；基于所述交互数据，将所述局部虚拟场景与所述眼位视频数据进行合成处理，得到虚实融合数据；将所述虚实融合数据推送至虚拟现实设备。

根据本公开实施例的第三方面，提供一种沉浸式直播的信息显示方法，应用于虚拟现实设备，所述虚拟现实设备与云服务器预先建立通讯连接，包括：接收虚实融合数据，其中，所述虚实融合数据中至少包括：直播设备采集的眼位视频数据和直播设备拍摄的局部真实场景以及与所述局部真实场景对应的局部虚拟场景，所述眼位视频数据包括连续帧眼位图像；对所述虚实融合数据中的眼位图像进行变形处理，得到对应于虚拟现实设备的视角图像；将所述视角图像分别投射至所述虚拟现实设备中每个眼位所处的眼位区域，显示三维虚实图像。