[发明专利]一种基于混合显著性检测的点云视频自适应切分方法

说明书

本发明公开了一种基于显著性检测的点云视频自适应切分方法，其步骤包括：1、将点云视频在空间上进行3D均匀切分；2、将点云视频在时间上进行分组，每个帧组是切分的单位；3、对每个帧组的第一帧内的切块进行静态显著性检测，得到切块内部离散值和切块之间的块间差异值；4、对每个帧组的相邻帧内切块进行运动估计，得到帧间的切块变化性；5，整合帧组内所有帧内切块的静态显著性和切块变化性；6、采用自上而下的层次聚类将帧组内的切块聚类得到切块簇。本发明可以预测用户视角关注点云视频的显著性区域，进而通过聚类得到切块簇，通过调整切块簇的传输码率从而减小点云视频的传输数据量，提高用户观看点云视频的体验。

技术领域

本发明涉及点云视频流媒体传输领域，具体来说是一种点云视频在传输过程中的数据量优化方法。

背景技术

点云是一种三维影像的表现形式，通过大量分布在三维空间中的点构成物体，它可以与虚拟现实或增强现实技术结合在一起，实现高自由度的沉浸式视频体验。然而由于点云存储了更多维度的信息，所以它的数据量比普通视频更高，因此点云视频的传输对带宽的要求十分大，这也是目前点云视频发展的瓶颈。因此如何尽可能降低点云视频传输过程中的数据量是目前研究的热点方向。

显著性检测是指过智能算法模拟人的视觉特点，提取图像中的显著区域(即人类感兴趣的区域)，它可将有限的计算资源分配给图像视频中更重要的信息，同时引入视觉显著性的结果更符合人的视觉认知需求。进而可以给例如目标识别，视频压缩等技术应用带来重要的帮助。

荷兰国家数学与计算机科学研究中心的Shishir等人设计并实现了一种以用户视角为中心的点云视频的低复杂度切分算法(MM'20:The 28th ACM InternationalConference on Multimedia，2020，“User Centered Adaptive Streaming of DynamicPoint Clouds with Low Complexity Tiling”)。作者首先收集了26个实验参与者在观看点云视频过程中的六自由度的运动轨迹，包括位置的变化和头部运动的变化，然后通过用户视角热点分布图进行切分成四个切块，在传输过程中根据网络环境和用户视角位置对不同切块进行码率调节，从而使得用户体验质量(Quality of Experience，QoE)最大化，实验结果表示相比基准方案，该切分方案能在提高传输的QoE同时降低数据量传输。但是此方案在切分时需要事先获得用户视角数据，这在直播等环境下显然不实际，而且方案并没有考虑视频内容本身对于切分的影响。

青岛大学的魏计鹏等人提出了一种基于深度图像增益的RGB-D显著性物体检测方法(计算机与现代化，2021，基于深度图像增益的RGB-D显著性物体检测方法)。作者通过在双分支网络结构的基础上增加一个增益子网，采用显著图作差的方法获得深度图片为显著性检测带来的增益，作为增益子网预训练的伪GT，获得图像的RGB特征、深度特征和深度增益信息，最终将三分支的特征进行融合得到最终的显著性物体检测的结果。结果显示在多个公开的数据集上，该方法与其他显著性物体检测方法相比，多个评价指标上处于领先地位。但是此显著性检测方法针对单帧图片而不是连续的视频，同时深度学习算法需要依赖大量数据集训练，无法满足点云视频流媒体实时传输的要求。

武汉大学的丁晓英等人提出了一种局部和全局融合的显著性检测算法(IEEETRANSACTIONS ON IMAGE PROCESSING，2019，Point Cloud Saliency Detection by Localand Global Feature Fusion)。作者首先通过与周围点的差异比较计算每个点的局部显著性，然后点云被分成许多个小类簇，计算每个类簇的全局稀有性性。最后通过提出了一个优化框架，以整合局部显著性和全局稀有性值，从而获得点云的最终显著性检测结果。通过对比实验表明，提出的方案相比其他显著性检测算法有明显的优势。但是本文的方法需要计算每个点的显著值，需要大量的计算量，并且没有考虑纹理信息诸如颜色等在显著性检测的作用。

发明内容