[发明专利]一种适应人眼感知情况的沉浸式媒体数据传输方法

说明书

本发明公开了一种适应人眼感知情况的沉浸式媒体数据传输方法。包括如下步骤：S1，在用户开始浏览前，将部分低质量的全景视频数据预存至用户端；S2，当用户开始平稳浏览时，服务器端根据用户当前的视觉行为传输高质量的视场区域内容，基于用户当前的视线落点分配当前视场下非均匀分布的图像质量；S3，当用户的视觉重点从当前区域迁移至下一个区域过程中，VR头盔视场中的数据由预存的低质量全景视频数据提供，同时继续预存低质量的全景视频数据至用户端；S4，当用户恢复到平稳浏览时和视线再次迁移时，重复步骤S2和S3，直至停止观察。本发明的方法能在有效减小VR数据流大小的同时保证整个视场区域内视频内容的主观感知质量不变。

技术领域

本发明涉及视频传输及计算视觉领域，尤其涉及一种适应人眼感知情况的沉浸式媒体数据传输方法。

背景技术

目前沉浸式媒体，譬如VR(虚拟现实)头盔和VR眼镜，逐渐走入大众视野，众多IT顶级公司(诸如Facebook/Oculus，HTC，Google等)正加大对沉浸式媒体市场的投资。优秀的VR设备需要保证高清的可视场景和无感知延迟的交互行为，这带来的高帧率高清视频数据的稳定传输对网络带宽提出了一定要求。如何高质有效地传出VR数据流是目前VR市场亟需解决的问题。

目前，为保证无感知延迟的交互和高质量的视觉体验，沉浸式媒体服务器端传到用户端的数据通常是360°全场景数据。从用户感受需求来说，有大部分数据是冗余的，因为VR头盔中沉浸式图像的可视范围一般是有限的(譬如HTC VIVE的视角为90°，Samsung GearVR的视角为96°)。现有的部分工作基于此点做出了改善，华为在17年的Sigcomm VR/AR-network Workshop中提出了低质量的全视场视频数据与用户可视范围内高质量的有限视场视频数据联合传输方案，用额外的存储空间置换较小的传输带宽。Duanmu,F.，Wang,Y.等(Duanmu,F.,Kurdoglu,E.,Hosseini,S.A.,Liu,Y.,&Wang,Y.(2017,August).“Prioritized Buffer Control in Two-tier 360Video Streaming”.In Proceedings ofthe Workshop on Virtual Reality and Augmented Reality Network(pp.13-18).ACM.)也提出了一种利用两层全景视频流中的优先级缓冲控制的结构，对于特定方向特殊区域的图像进行高码率编码，且用一个较低码率来提供基础的视频质量，这样能更有效地适应网络带宽和观看方向的动态变化。以上两种方法均基于用户观察到的沉浸式头盔内的图像是有限视角这一特性来减少网络上传输的数据流，在一定程度上确实可以减少数据量，但对于更高的视频质量需求或者多用户同时在同一场景中进行VR交互的情况，以上两种方法提供的方案都不能很好地实现优质传输，其传输流的大小需要进一步减少。

另外，用户在头盔内观看每一幅沉浸式图像或视频帧时，在当前的视场中也会存在一个视觉中心，人眼会更多地关注于视觉重点所在区域。这样可将视场分为视觉中心区域、视觉近周围区域和视觉远周围区域。根据现有的研究表示，人眼在不同的视觉区域有不同的图像质量感知能力，这是由于负责色彩感知能力的视锥细胞在视网膜上呈现非均匀分布，且绝大部分集中于中心凹处。故人眼在中心凹处具有极高分辨率。传统的视频体验通常呈现在人眼视觉系统的视觉中心区域，而当下的沉浸式媒体体验将视场扩展到了视觉周围区域。这给高质有效地减少VR数据流大小带来了契机。

但基于人眼感知情况的更具细节性的视频内容质量压缩方案仍未被提出，如何合理分配视频传输时各区域的质量且不影响视频内容的主观感知情况成为一个十分重要的课题。

发明内容

鉴于以上情况，本发明提出了一种适应人眼感知情况的沉浸式媒体数据传输方法，通过对不同视觉区域分配不同的视频质量来解决传输过程中数据流过大的问题。

本发明采用的技术方案为：

一种适应人眼感知情况的沉浸式媒体数据传输方法，包括如下步骤：