[发明专利]基于显著性检测的360°视频流传输系统

说明书

本发明公开了一种基于显著性检测的360°视频流传输系统，包括：服务器端，在该系统的离线阶段，根据眼动数据获取显著性矩阵并计算每个视频的方差，即显著性矩阵的平均方差，从而将视频分为显著性视频和非显著性视频两类；在完成显著性矩阵的获取与分析之后，视频通过在时间维度和空间维度的分片以不同的质量和相应的形式存在；客户端，当用户观看显著性视频时，根据实际网络状况从服务器下载相对应的显著性矩阵到客户端播放器，基于显著性的码率控制算法在播放过程中控制视频流的下载传输，对于非显著视频，则通过MPC算法来调整视频流的质量。本发明有效缓解了由于用户观看行为的非线性性、预测窗口限制使得缓存长度过小等弊端。

技术领域

本发明属于网络系统领域，具体涉及一种基于显著性检测的360°视频流传输系统。

背景技术

随着360°视频的日益流行，虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)技术开始受到各界关注。近几年，随着VR设备、网络和终端技术的成熟，360°视频正越来越多地用于影视、游戏、医疗、教育等应用中。据思科的统计报告显示：VR应用在2016年的平均月流量达到13.3PB，预计到2021年达到140PB，年增长率达到60％。如此广泛的360°视频给人们的生活和工作带来了新体验，大量的网络基础设施和智能穿戴设备也推动了360°视频应用的发展。然而，高质量的360°视频流服务面临着若干挑战，其中网络传输是一个关键性问题。随着每个VR图像分为两个流(每只眼睛一个)，对网络带宽的需求快速增长。即使是最低级别的360°视频流体验，也将至少需要25Mbps的线路。在VR上流式传输高清级别的内容可能需要高达80到100Mbps的吞吐量，而对于Retina品质，需要寻找接近600Mbps的数据传输线路，这给网络带宽带来了巨大的挑战。

在带宽受限条件下，很多基于头部运动(头动)轨迹预测的360°视频流传输方法被相继提出，这些方法在空间上将360°全景视频离线分块，采用线性回归的方法对头动轨迹在线预测，并基于预测结果给不同的分块分配不同的视频质量。然而，由于用户观看行为的非线性性、预测窗口限制使得缓存长度过小等原因使得基于头动轨迹预测的360°视频流传输方案存在一定弊端。

发明内容

本发明的目的是为了解决头动轨迹预测的局限性，提高在带宽限制条件下的360°视频流的用户体验，提供了一种基于显著性检测的360°视频流传输系统，该系统主要包含两个创新点，基于历史眼部运动(眼动)数据和深度学习的显著性检测算法和基于显著性的码率控制算法。

本发明采用如下技术方案来实现的：

基于显著性检测的360°视频流传输系统，包括：

服务器端，在该系统的离线阶段，根据眼动数据获取显著性矩阵并计算每个视频的方差，即显著性矩阵的平均方差，从而将视频分为显著性视频和非显著性视频两类；在完成显著性矩阵的获取与分析之后，视频通过在时间维度和空间维度的分片以不同的质量和相应的形式存在；

客户端，当用户观看显著性视频时，根据实际网络状况从服务器下载相对应的显著性矩阵到客户端播放器，基于显著性的码率控制算法在播放过程中控制视频流的下载传输；对于非显著视频，则通过MPC算法来调整视频流的质量。

本发明进一步的改进在于，根据所采集的用户眼动数据，基于历史眼动数据和深度学习方法获取360°视频显著性矩阵。

本发明进一步的改进在于，基于历史眼动数据获取360°视频显著性矩阵利用高斯分布、方差自适应的高斯分布以及重叠面积分布三种方法生成M×N的显著性矩阵。

本发明进一步的改进在于，深度学习方法获取360°视频显著性矩阵利用PCSA网络提取视频中的显著性区域特征以及CNN监督网络来进行分块区域的预测；该获取360°视频显著性矩阵的深度学习方法在显著性检测网络的基础上，利用眼动数据作为标签，将经过显著性检测网络处理过后的输出特征映射作为输入，最后经过网络的深层训练，获得分块后的输出特征值。