[发明专利]一种基于VR终端反馈的自适应编码方法

说明书

技术领域

本发明涉及一种基于VR终端反馈的自适应编码方法，属于多媒体传输技术领域。

背景技术

随着VR技术的发展与应用，我们的观看视频的方式变得更加有亲临感。目前市场上出现的各种各样的头显VR设备，然而光有设备是不够的，视频源的提供才是VR发展的关键。全景视频是提供给VR设备的内容。在我们的日常生活中，不论是观看电视还是手机，我们看的视角都只是一个视角，这个视角被认为一个平面。但实际上我们的位置是三维空间的一个点，我们所能接受的视频信息可以是三维的，可以接受空间中各个方向的视角信息。全景视频正是这样一个产品，用户可以根据自己想要看的东西来选择“转头”观看。VR全景视频整体方案包括了采集、拼接、编码及传输和播放几个部分。

对于视频内容的生产而言，第一步就是视频采集。与普通视频生产不同，全景视频的采集需要多台摄像机同时完成。目前采用的采集设备有Google Jump、GoPro、NOKIA OZO等。全景设备的取景范围水平360°，垂直180°。拍摄使用的全景拍摄都是经过相机参数标定的。而在拍摄过程中，我们还需要解决采集同步的问题。常见的同步方式有：闪光同步，即检测所有相机视频帧内的“闪光”，如明亮帧，白色帧，利用这个信号进行同步；运动同步，即检测所有相机视频帧内的运动信息，通过匹配运动量进行同步；声音同步，即分析所有相机采集到的声音频谱进行同步；以及手动同步，即根据某一个时刻的所有的相机采集的视频帧手动进行微调。

完成同步采集后，需要将相机采集的视频帧进行拼接，而在拼接之前，考虑到各帧是相机在不同角度下拍摄得到的，所以他们并不在同一投影平面上，如果对重叠的图像直接进行无缝拼接，会破坏景物的视觉的一致性。所以要先对图像进行投影变换，在进行拼接。一般有平面投影、柱面投影、球面投影和鱼眼投影等。

完成投影变换后，之后步骤就是拼接，拼接过程主要特征提取-特征匹配-配准-融合等步骤。

特征点匹配可以采用SIFT的作者lowe提出比较最近邻距离与次紧邻距离的SIFT匹配方式，或者KD-Tree算法等。而在匹配过程中，通常使用RANSAC算法对特征点进行筛选。

配准的目的是根据几何运动模型将图像注册到一个坐标系中，在多幅图像配准过程中，采用的几何运动模型主要有：平移模型、相似性模型、仿摄型模型和透视模型等。

图像配准之后，便可以进行图像融合操作，图像融合技术一般可以分为非多分辨率和多分辨率技术俩类。

通过以上操作基本完成拼接工作。但是，由于不同角度的画面是通过不同的相机采集得到，最终全景图像会遇到各个区域的曝光不一致的情况，通过曝光补偿的技术可以使得拼接后的全景图像曝光一致。再则当场景中有物体移动时会出现鬼影现象，我们则会通过ROD算法去除这种现象，之后便得到全景视频信息。

全景视频信息需要专门的传输编码来满足庞大的信息量传输，但是目前还没有针对全景视频的编码标准。例如乐视云构建的VR视频云平台，包含以上采集、拼接、编码传输和播放等几个环节。采用多个普通镜头进行多角度无死角的拍摄，使用特征提取、特征匹配、校准、融合和曝光补偿等技术拼接成完整的全景图像；再经H264、H265等视频压缩技术进行编码处理，之后通过RTSP、RTMP、HLS等传输协议进行传输，最后通过相应解码器完成解码播放工作，在不同终端上实现VR、全景等播出形式。

现在基于互联网传输到移动终端或者CP上的流媒体传输协议普遍是HAS，即HTTP自适应传输协议，该协议是在HTTP基础上改进而来，HTTP协议即超文本传输协议最大的功能就是高速缓冲。是指服务器可以把最近的一些请求、相应暂时缓存在本地，当有新的请求到达时，若是代理服务器发现其与之前暂存的请求相同，怎返回咱村的响应，而无需按照URL地址重新访问网络。这样大大减少了网络上的通信量从而优化了网络状况。

HTTP Adaptive Streaming指的是HTTP自适应码流传输协议,其主要服务器实现媒体文件的分片，然后把每个媒体文件分片通过HTTP协议传输媒体流，可以实现媒体播放过程中的码率变化。结合网络带宽资源，为用户提供更好的体验。同时在带宽资源充分的情况下，可以为用户提供高码率的视频体验，在带宽资源不足时可以为用户提供低码率的视频体验，在带宽资源变化的情况下，可以为用户提供可变的码率的视频服务，即网速好时可以选择高清视频，当网速不好时候，可以选择标清视频。

发明内容