[发明专利]一种全景视频交互传输方法、服务器和客户端

说明书

技术领域

本发明涉及视频处理领域，尤其涉及一种全景视频交互传输方法、服务器和客户端。

背景技术

视频信息的采集与传输是信息技术发展的一个重要方向，网络摄像机、视频会议、视频聊天等以视频为主的信息传播已经开始为人们提供服务。目前，由于单一摄像头视野有限，只能摄取现场的某一局部，不能让不同的用户同时观看不同角度的自己感兴趣的场景，无法满足用户的个性化要求，视频重复观赏的价值有限。

随着虚拟现实(英文：Virtual Reality，简称：VR)和计算机图形学技术研究的迅猛发展,基于图像的虚拟现实场景绘制技术(英文：Image-Based Rendering，简称：IBR)成为一种绘制典范，它并不将全部的空间信息重建出来，而是利用全景图(英文：panoramic images)构建空间某位置上的虚拟环境，而用户仅在这个位置上有真实感很强的浸入感。所以对于用户空间位置不变仅改变视角的全景视频浏览等应用，可以用很少的计算资源实时实现真实感很强的浸入式虚拟体验。

传统的全景技术应用受到计算能力和存储空间等多方面限制，大多集中应用在静态全景图像的形态上，并且被广泛应用在地图导航、虚拟旅游、产品静态展示等方面。但目前，全景摄像机的开源化，以及以Oculus Rift(为电子游戏设计的头戴式头盔)为代表的头戴式浸入式显示器的普及，使得全景视频开始小范围的流行起来，用户通过配戴虚拟现实眼镜，浸入到由全景视频所构成的虚拟空间之中，体验上与普通单视角视频有很大区别。

但是，在单位面积像素相同的前提下，全景视频的数据量远远超过普通单视角视频，这对传输和播放实时传输和交互式体验提出了很高的要求，制约了全景视频的应用和普及。

如图1所示为将全景视频应用于远程教学的示例图，服务器将高清格式的视频按照用户可能的感兴趣区域(英文：Region of Interesting，简称：RoI)进行分区块编码，根据用户观看的区域，选择性地进行瓦片(英文：Tile)传输。但是一旦用户快速缩放或切换视角，将导致视频缺块等问题，无法保证视频质量。

发明内容

本发明实施例提供一种全景视频交互传输方法、服务器和客户端，用以解决现有技术下因视角缩放或切换的交互过程导致全景视频出现缺块的质量问题。

第一方面，本发明实施例提供了一种全景视频交互传输方法，包括：

服务器对全景视频进行视频图像分割，得到多个局部视频；

所述服务器按照不同的视频参数，对所述多个局部视频中的任一个局部视频进行多次编码压缩，得到对应所述任一个局部视频的多种切片；

所述服务器在当前周期接收客户端发送的切片请求，根据所述切片请求指示的所述多个局部视频分别对应的待获取的切片的视频参数，获取对应的切片发送给所述客户端，以用于所述客户端将获取的切片在下个周期合并渲染形成全景视频。

结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：

所述服务器对所述多个局部视频进行编号，并将所述多个局部视频的编号、位置信息、对应多种切片的视频参数以及切片的存储位置记录在文件中；

所述服务器将所述文件发送给所述客户端。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，所述视频参数包括分辨率、码率、PSNR和帧率中的至少一种。

第四方面，本发明实施例提供了一种全景视频交互传输方法，包括：

客户端确定在当前周期全景视频中的感兴趣区域；

所述客户端根据被触控的动作，确定所述客户端的工作状态；

所述客户端根据所述感兴趣区域和工作状态，确定所述全景视频的边缘区域、普通区域和不感兴趣区域；

所述客户端根据所述感兴趣区域、边缘区域、普通区域和不感兴趣区域，确定所述全景视频包含的每一个局部视频分别对应的待获取的切片的视频参数；

所述客户端将确定的所述每一个局部视频分别对应的待获取的切片的视频参数携带在切片请求中发送给服务器，以及

接收所述服务器根据所述切片请求返回的切片；

所述客户端将接收的切片在下个周期合并渲染形成全景视频。

结合第四方面，在第四方面的第一种可能的实现方式中，客户端确定在当前周期全景视频的感兴趣区域之前，所述方法还包括：

所述客户端接收所述服务器发送的文件，所述文件用于记录所述全景视频包含的多个局部视频的编号、位置信息、对应多种切片的视频参数以及切片在所述服务器的存储位置；