[发明专利]一种静态点云服务器码率自适应传输方法及系统

说明书

本发明公开了一种静态点云服务器端码率自适应传输方法及系统，该方法包括：服务器端将静态点云划分为3D空间切片；用户端将用户观看信息以及显示屏幕分辨率实时反馈给服务器端，并从服务器端下载可分配给每个3D空间切片的码率版本全集；服务器端根据用户观看信息以及显示屏幕分辨率计算出每一个空间切片的QoE贡献；并采用空间切片组成的全集、空间切片的码率版本全集、网络资源限制、每一个空间切片的QoE贡献，建立基于空间切片的码率自适应分配的优化问题，得到最优空间切片码率版本子集。系统包括：用户端、服务器端，对应实现上述功能。通过本发明，提高了静态点云传输的带宽利用率，为用户提供更好的质量体验。

技术领域

本发明涉及视频通信技术领域，特别涉及一种静态点云服务器码率自适应传输方法及系统。

背景技术

随着3D传感与采集系统的迅猛发展，虚拟现实(VR)，增强现实(AR)等一系列新兴技术的兴起与普及，由于支持6个自由度而能够给用户极致身临其境体验的点云，作为一种新型媒体数据正在逐渐成为科学研究的热点。用户在观看点云场景时，不仅可以任意改变观看方向，还可以自由改变空间位置，因此，点云传输对于增强用户的沉浸式体验具有重大意义。然而，点云往往数据量巨大，非常消耗带宽资源，为在当前网络环境下的传输带来巨大的挑战。

为了解决传输点云为网络带宽带来的挑战，根据点云对象对用户QoE的贡献自适应分配码率，为QoE贡献大的点云分配较大的码率，为QoE贡献小的点云分配较小的码率，从而在有限的带宽资源下为用户提供尽可能高的质量体验。影响点云QoE贡献的因素主要有以下五点：(1)点云是否在用户的视域体里；(2)点云和用户之间的距离；(3)点云之间的遮挡；(4)分配给点云的码率版本；(5)显示屏幕分辨率。具体地，对于不可见点云(点云不在用户视域体里或者被完全遮挡)，QoE贡献为零；对于可见点云，QoE贡献随点云到用户之间距离的增大而减小，并且受显示屏幕分辨率的限制。此外，点云的码率版本越高，质量表示越高，从而QoE贡献越大。

经过对现有技术的检索发现，Hooft等人在2019年的《ACM MultimediaConference》会议上发表了题为“Towards 6DoF HTTP Adaptive Streaming ThroughPoint Cloud Compression”的文章，该文章针对多个点云组成的场景，以单个点云为码率分配的基本单元进行传输。依据点云是否在用户视口范围里以及到用户之间的距离分别提出了四个指标来判断每个点云的优先级，在此基础上提出了三种码率自适应启发式算法。但是该文章涉及的应用场景不包括单个点云，在判断点云优先级的时候没有考虑点云之间的遮挡和显示屏幕分辨率的影响，并且指标不具备通用性，针对不同的场景需要选择不同的指标。

经检索还发现，Park等人在2019年的《IEEE Journal on Emerging and SelectedTopics in Circuits and Systems》期刊上发表了题为“Rate-Utility OptimizedStreaming of Volumetric Media for Augmented Reality”的文章，该文章以3D空间切片为码率分配的基本单元进行传输，既适用于单个点云，也适用于多个点云组成的场景。依据空间切片是否在用户视域体里，空间切片到用户之间的距离，空间切片的码率版本和显示屏幕分辨率定义每个切片的效用，在此基础上提出了基于贪婪算法的码率分配机制。但是该文章在定义切片效用时没有考虑切片之间的遮挡，并且没有进行用户视觉方面的质量评价。

此外，上述工作的码率自适应算法都是启发式算法，缺乏对算法性能的理论保证。

发明内容

本发明针对上述现有技术中存在的问题，提出一种静态点云服务器码率自适应传输方法及系统，提高了静态点云传输的带宽利用率，为用户提供更好的质量体验。

为解决上述技术问题，本发明是通过如下技术方案实现的：

本发明提供一种静态点云服务器码率自适应传输方法，其包括：