[发明专利]用于在预捕获环境中的增强现实内容递送的系统和方法

说明书

本公开描述用于在预捕获环境中的增强现实(AR)内容递送的系统和方法。在一个实施方式中，AR客户端在嵌入到AR头戴式装置的传感器的帮助下收集关于物理环境的信息。客户端根据收集的信息重构所述物理环境的3D模型，并将其发送到AR内容服务器。基于在AR内容服务器处获取的所述3D重构信息，所述服务器修改所述内容。AR内容服务器将所述AR内容与所述3D重构数据进行比较并进行所述AR内容的可视性分析。基于该可视性分析，被真实对象遮挡的AR元素被移除以减小所述AR内容的数据大小。最终，所述AR内容服务器将修改的内容流传输到所述AR客户端以及AR客户端呈现所述内容并将其发送到所述头戴式装置。

相关申请的交叉引用

本申请是2017年2月1日申请的题为“System and Method for AugmentedReality Content Delivery in Pre-Captured Environments(用于在预捕获环境中的增强现实内容递送的系统和方法)”的美国临时专利申请序列号62/453,317的正式申请并根据35 U.S.C.§119(e)要求其权益，该临时专利申请整体通过引用的方式合并于此。

背景技术

只要客户端有互联网连接，在云中存储数字媒体能够实现从世界任何角落的接入性。具有较大等级的现实性的数字媒体使用需要大文件大小的高分辨率格式来编码的。传输这个信息(例如将所述数字媒体流传输到客户端设备)需要相称的通信资源的大分配。视觉上丰富的虚拟现实(VR)内容和增强现实(AR)内容这两者都消耗大量数据，这对于AR和VR内容递送来说存在问题的。递送所述内容的服务和消费所述内容的客户端的之间的数据连接的有限带宽是个重要瓶颈。

例如，电影VR技术使用的球形视频大幅增加对在线视频馈送的视频分辨率要求。在电影VR中，传送的视频流包含不仅像在普通2D视频这样的屏幕上看到的所有像素，而且还包含来自单个观看点的全360°视野像素。当电影VR内容被消费时，整个视频内容仅一小区域在任意给定时间点是可见的。在客户端设备上显示的球形视图的较小的裁切的区域需要提供全HD(即，1080p)分辨率以为了观看体验匹配上目前使用的高分辨率2D视频提供的分辨率。当将单视场360度球形视频与立体视场360度3D球形视频(其中针对每只眼睛需要分开的图像馈送)进行比较，内容递送所需的带宽成为主要瓶颈。下一代拟真内容格式(其不仅提供从单视点的360度立体视图，还允许用户在所述内容内的限制区域内移动)将消耗的信息通信资源呈指数级增加。

在VR空间内移动的能力不是这些下一代格式大小背后的唯一的驱动器，因为下一代AR显示技术将要优选地表现相同级别的空间现实感。用于递送AR和VR体验的当前内容流传输方法依赖传统的数据传输优化技术(例如，空间2D图像像素压缩和时间运动补偿)。传统数据压缩技术没有解决AR用例的细微差别，且还可以被改进。

发明内容

本申请描述了用于选择性提供增强现实(AR)信息给AR显示客户端设备的系统和方法。在一些实施方式中，用于提供AR信息给所述客户端设备的带宽可以通过选择性向客户端设备传送仅外表没有被AR观看位置中物理对象遮挡的AR内容元素而被降低。

例如，在一个实施方式中，系统(例如，AR内容服务器)确定AR观看环境内AR显示设备的位置。针对AR内容的至少第一元素(例如，视频或AR对象)，系统选择所述AR观看环境内的显示位置。系统确定AR观看环境中的任意物理对象是否位于沿着所述AR显示设备与所述第一元素的显示位置之间的视线上。仅响应于确定没有物理对象在所述视线上的情况下，系统传送AR内容的所述第一元素给所述AR显示设备。系统可以处理不同显示位置的AR内容的一些元素(包括可能在运动的元素并由此具有可变化的显示位置)，并可以向AR显示设备发送仅从AR显示设备角度来看位置没有被物理对象挡住的元素。在一些实施方式中，所述AR元素可以是一部分AR对象或视频，由此该对象或视频的未遮挡部分被发送到客户端而遮挡部分不被发送。