[发明专利]一种低传输流量的VR全景视频时空切片方法

说明书

本发明公开了一种低传输流量的VR全景视频时空切片方法，属于无线通信的视频传输领域，具体包括：首先，收集视频和用户的数据，将每个视频设定为TD种时空切片组合；统计每种组合下的视频大小，以及每位用户观看视频时的传输流量；针对每一类视频，计算视频文件大小和传输切块占比，相乘得到传输流量统计模型；针对新的待切分VR视频，统计出t＝1时I‑P帧压缩比W对传输流量统计模型中的压缩比进行修正；进而计算修正的待切分视频在时空切片后的大小，并乘以切块占比，得到用户观看该待切分视频时需要传输的流量上界；遍历TD种时空切片方式，找到最小传输流量下的对应方案，本发明有效利用时空切片传输来降低VR全景视频传输流量，对时空两维的切片进行了优化。

技术领域

本发明属于无线通信的VR视频传输领域，具体涉及一种低传输流量的VR全景视频时空切片方法。

背景技术

VR全景视频被认为是未来移动通信应用场景中高带宽需求的主要业务之一，为了保证用户体验，视频分辨率往往在8K及以上。为了在有限的传输带宽下，尽可能提升用户体验，有必要设计VR视频业务的高效传输机制。

通常用户在观看全景视频时，只会观看整个视频画面的一部分，其余部分的传输是可以避免的。基于此，研究人员提出了基于视点自适应的VR视频传输方式，实现方式为把VR视频画面在空间上切块(称为Tile)，然后根据用户当前的视点，只传输视点范围内的切块。

除了空间切片，在时间维对视频进行切片也是视频点播业务的主流实现方式，常用的实现方式例如DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)。用户以时间分段为单位来请求视频，从而实现边下载边解码边观看的效果，同时可以根据信道的变化来选择合适的画面质量。

因此，对VR全景视频通过在空间维和时间维分别进行切片，可以实现基于时空切片的视频传输。只需在每个时间分段里，针对当前视点内的切块发送高清版本，而对其他切块发送较低清版本即可(防止视点预测错误导致的画面中断)，大大节省了传输流量，降低了网络传输压力。

但是，基于时空切片传输的机制仍存在以下问题：如何确定每个视频的切片方式，即空间上切分多少个切块、时间上时间分段内包含多少帧。

首先，空间切块并不一定越多越好：一方面，切块数量越多，实际传输的高清画面面积越小，虽然有利于节省流量；但另一方面，每个空间切块都是独立压缩编码的，画面的越小则利用画面空间相关性进行视频压缩的效率越低，导致每个切块的压缩率下降。综合考虑两方面因素可知，增加切块的数量并不一定导致流量下降。

其次，时间分段也不一定越长越好：一方面，分段越长，则利用画面时间相关性进行视频压缩的效率越高，有利于降低视频传输流量；但另一方面，对于时空切片传输而言，增加时间分段长度可能会导致传输更多的空间切块，从而增加传输流量。

举例来说明：假设时间分段长度为2s，用户正在观看时间分段1，且视点集中在空间切块1内，那么系统只需要传输时间分段1内的空间切块1即可；但是如果用户在观看过程中发生了头动，例如在1s处把头转向了空间切块2，那么系统就需要先传输时间分段1内的空间切块1，然后在头动之后接着传输时间分段1内的空间切块2，导致流量的增加。不难发现，时间分段越长，那么用户在一个时间分段内发生头动的概率越大，因此时间分段长度并不一定越大越好。

进一步，需要说明的是，将一种固定的时空切片方案应用于所有的视频并不是最优的处理方式：首先，不同类型的视频由于内容的差异，用户在观看时的头动规律是不一样的，例如对于访谈类的视频，用户的注意力往往集中在主持人和嘉宾身上，头动不太频繁；而对于短视频，用户的注意力会受到声音、画面切换的影响，头动更加频繁。其次，由于画面内容的差异，不同视频的时、空维压缩编码效率不同，导致相同的时空切片方案具有不同的流量。

综上所述，为了有效利用时空切片传输机制来降低VR全景视频传输流量，有必要对时空两维的切片方案进行优化设计。

发明内容