[发明专利]一种基于VR终端反馈的自适应编码方法

权利要求书

1.一种基于VR终端反馈的自适应编码方法，其特征在于:思想是结合数理统计和概率论，主要传输机制上作出改善:首先，传输过程中让用户看到的信息得以优先输出，其他视角信息根据缓冲长度达到一定阈值来传输，在一定程度上解决了因为信号信息量太大而无法第一时间全部传输到终端的问题，在传输的内容所需要的带宽和时延上达到合理分配；其次，通过终端打分和后台反馈处理，让VR用户端在带宽与时延利用利用率更高，用户与虚拟环境的交互感受得到有效提升，用户更能根据主观感受来适当地选择合适地客观虚拟场景；在VR用户接受视频信息的时候，后台会提供全视角信息，后台会将360°全景视频划分为若干个视角，后台根据用户体验过程中对视角的选择做统计，最后预测用户的视角选择，每一个视角会单独生成一个视频信息，后台会自动将该视角信息作为优先传输，我们预先设定阈值，当优先传输的视角信息缓冲一定的信息量时，后台再传输其它视角的信息，这样便可以在现有的有限带宽里满足用户视角信息量的需求，一定程度上可以减少对带宽的苛求，这种方案对时延要求比较高，满足用户享受属于自己不同信道下合适的体验要求，相当于时延换带宽的方案；第三：在用户实现VR实时播放后，用户可以在终端对观看到的视频信息做出评分，评分结果会反馈到后台，后台通过对评分结果映射不同的处理方式，系统会根据用户所评的分数选择合适的信息量传输，让用户能在不同环境下满足自己的主观要求。

2.根据权利要求1所述的一种基于VR终端反馈的自适应编码方法，其特征在于:可通过MPEG-DASH、HAS、HLS为主的视频传输技术实现，具体步骤如下：

步骤一：服务器端采集全景视频、并将采集到的全景视频拼接成未编码的全景视频信息；

步骤二：用户端向服务器断发送指令，申请观看步骤一生成的全景视频信息；

步骤三：服务器端接收步骤二终端向服务器端发送的指令；

步骤四：服务器端响应步骤三的指令，将步骤一中生成的全景视频信息基于视角进行分割，输出若干个视角视频信息，再对视角视频信息进行编码传输，再根据步骤二发送的指令中的用户视角选择，将对应视角的全景视频信息传输给发送端；具体说来：步骤四将步骤一的未编码的全景视频信息进行图像分割，转换成若干个视角视频信息，进行独立编码传输；

步骤五：终端检测用户并将监测信息反馈给用户端；

步骤六：服务器端视频质量评价；

步骤七：VR用户进行打分；

至此，从步骤一到步骤七，完成了一种基于VR终端反馈的自适应编码方法。

3.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤二中发送的指令中包括用户的视角选择。

4.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤四又可以再分为以下三个步骤：

步骤4.1服务器端对步骤一输出的全景视频信息进行分割，针对不同用户视角需求，全景视频信息被分割成多个独立的用视频信息，在该用户视角视频信息中其他视角内容被“模糊”，这样就节省了传输量；

其中，用户视角视频信息的数量不限定；

步骤4.2对步骤4.1输出的用户视角视频信息进行编码再传输；

其中，本步骤中每一个视角视频信息都独立进行编码并传输，这会大大增加传输效率，实现VR用户的高效观看；

步骤4.3终端根据用户体验要求，对步骤4.2将传输的独立的视角视频信息进行相应的解码、拼接和播放；

其中，我们观看的视频信息其视角视频信息码率很高，但是其他视角并不是没有视频信息，而是码率低“模糊”的视频，所以需要一定的视频拼接。

5.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤五中，终端就是VR终端，和VR用户含义相同；步骤五，具体为：终端监测用户，终端反馈给服务器端参数；具体应用到眼球跟踪技术，跟踪用户眼球重点关注区域，反馈到服务器端，由服务器端对应下载眼球所关注的区域；用户打分M，上一片段下载速率R_dMbps，播放缓存T，其中T的单位为秒s。

6.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤六中服务器端：编码传输视频以3.5分对应的R_c码率行视频分段为D(单位为秒s)，将视频的类型对应的QoE到Rate映射，以0.5分为间隔的映射，当前码率是R_c。

7.根据权利要求2所述的一种基于VR终端反馈的自适应编码方法，其特征在于:步骤七中，终端VR用户的打分分为俩种情况；

一、若是用户打分为M低于预设值(M<3.5分)，M在服务器端映射到Rate(R_q)R_q<R_c；

a.R_d>R_c且T>D提高R_c到4.0分等级；

b.R_d>R_c且T<D提高用户关注区域R_c到4.0等级，其他区域码率不变；

c.R_d>R_c提高用户关注区域R_c到4.0等级，其他区域降低到3.0等级码率；

二、若是用户打分M高于或者等于预设值(M≥3.5)或者用户没有打分；

M在服务器端映射到Rate(R_q)R_q>R_c，保持当前编码继续传输。