[发明专利]基于多层图像缓冲和分区图像编码的视频传输显示方法

说明书

本发明适用于虚拟现实技术领域，尤其涉及基于多层图像缓冲和分区图像编码的视频传输显示方法，所述方法包括：采集全景图像，对全景图像进行裁剪和拼接，得到全景拼接图像并进行编码传输；播放端对全景拼接图像进行解码，拆解得到一组外层图像和一组内层图像；对外层图像和内层图像进行叠加显示，更新内层图像的显示内容，若用户视角范围内的内层图像尚未送达，则该区域则显示外层图像。本发明解决了VR全景视频中，全部传输视频带来的数据浪费，有效信息过少的问题，同时也解决了使用云台同步双目摄像头方案中，因为延迟给用户带来的眩晕感。关键点在于使用低清图像解决响应不及时的眩晕感，高清分区图像解决全尺寸视频数据冗余。

技术领域

本发明属于虚拟现实技术领域，尤其涉及基于多层图像缓冲和分区图像编码的视频传输显示方法。

背景技术

VR是Virtual Reality的缩写，中文的意思就是虚拟现实，虚拟现实是多媒体技术的终极应用形式，它是计算机软硬件技术、传感技术、机器人技术、人工智能及行为心理学等科学领域飞速发展的结晶。主要依赖于三维实时图形显示、三维定位跟踪、触觉传感技术、人工智能技术、高速计算与并行计算技术以及人的行为学研究等多项关键技术的发展。随着虚拟现实技术的发展，真正地实现虚拟现实，将引起整个人类生活与发展的很大变革。

用户在观看虚拟现实(virtual reality，VR)、自由视角视频以及多视角等场景时，可以自由选择观看视角，从而观看视频的不同部分的画面。其中，当用户从一个观看视角切换到另一个观看视角时，通常称为视角移动。VR视频通常会是通过360度全景拍摄设备拍摄全景视频，而全景拍摄设备是通过多个摄像头拍摄出不同角度的视频片段，对视频片段进行拼接之后得到的全景视频。

在现有技术中，由于传输系统、云台机械结构的延迟，在视角移动时，视频图像的显示区域不能实时随之发生变化，使得用户视觉观察到的状态和身体真实状态之间不一致，很容易带来眩晕感。

发明内容

本发明实施例的目的在于提供基于多层图像缓冲和分区图像编码的视频传输显示方法，旨在解决现有技术中，由于传输系统、云台机械结构的延迟，在视角移动时，视频图像的显示区域不能实时随之发生变化，使得用户视觉观察到的状态和身体真实状态之间不一致，很容易带来眩晕感的问题。

本发明实施例是这样实现的，一种基于多层图像缓冲和分区图像编码的视频传输显示方法，所述方法包括：

采集全景图像，对全景图像进行裁剪和拼接，得到全景拼接图像并进行编码传输；

播放端对全景拼接图像进行解码，拆解得到一组外层图像和一组内层图像，所述外层图像的分辨率低于内层图像；

对外层图像和内层图像进行叠加显示，根据用户的视角信息更新内层图像的显示内容，若用户视角范围内的内层图像尚未送达，则该区域则显示外层图像。

优选的，所述全景图像采用双目摄像头进行采集，每次采集得到两组全景图像。

优选的，所述对全景图像进行裁剪和拼接，得到全景拼接图像的步骤，具体包括：

将两组全景图像进行拼接，得到第一拼接图像；

对第一拼接图像进行降采样，得到第一图像；

对全景图像中用户视野所覆盖的区域进行裁剪，并进行拼接，得到第二图像；

对第一图像和第二图像进行拼接，得到全景拼接图像。

优选的，所述对外层图像和内层图像进行叠加显示，根据用户的视角信息更新内层图像的显示内容的步骤中，用户在视角进行移动时，获取用户的位置和旋转信息后，计算用户的视角朝向，并将其解算为2D图像中的视角偏移坐标，根据视角偏移坐标进行重新采样，得到更新后的内层图像，并进行显示。

优选的，进行显示时，在3D引擎中，构建球体，将内层图像和外层图像作为材质贴到球体上，且内层图像位于内侧，外层图像位于外侧，用户视角置于球体中心位置。