[发明专利]基于3D点云数据的分视角压缩和传输方法及系统

说明书

本发明提供了一种基于3D点云的分视角压缩和传输方法，包括如下步骤：发送步骤：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；动态传输步骤：根据视角请求，将存放于服务器内的多路视频进行3D重建；根据传输指令，将多路视频构成相应视频组合；接收步骤：根据当前视频组合，对视频组合中的点云数据进行重建，并呈现至播放器中。本发明提供的基于3D点云的分视角压缩和传输方法，在收端用户当前时刻无法观看到的部分进行低质量、低码率的3D重建，进而节省的带宽资源可以用来请求当前正在观看视角的高质量内容，使带宽合理分配，最终给带来用户更高的体验。

技术领域

本发明涉及3D媒体数据压缩与传输应用领域，具体地，涉及一种针对3D点云数据的分视角压缩和传输的方法。

背景技术

近年来随着信息技术的日新月异，用户对于媒体消费的体验要求越来越高，从色彩更逼真、画面更清晰，到如今用户希望获得更加真实的体验和感受，未来媒体正跨入沉浸式时代。为保证用户的沉浸感体验，媒体数据表现形式逐渐趋于精细化和多样化。围绕沉浸式媒体的技术正逐渐成为学术界和产业界研究的主流，发展十分迅猛，面向其设计开发的内容与服务越来越丰富。根据不同服务提出的呈现需求，相应的数据描述方法的研究也受到了广泛的关注。得益于3D采集设备的快速发展，点云数据在学术界和工业界引起了广泛的关注。3D点云是空间中一系列点的集合，记录了被扫描物体表面各点的一组3D坐标信息和多个属性信息，比如颜色、材质、法向量、反射强度等等。点云数据是真实物体的几何描述，是一种新的3D模型数据格式，作为沉浸式多媒体场景表达信息的主要载体，不仅可以有效地表示沉浸式媒体服务中的静态实物和场景，并且可以实时渲染精确的立体模型，真实地描述动态实物或场景信息。这些代表性的沉浸式媒体具有实时全交互、服务个性化、体验更逼真等新特征，但是当采样间隔较小时，物体表面经扫描后点云数据量将相当大，往往达到几十万甚至上百万的量级，同时，数据模型的大数据量、高复杂度和无规则性将为计算机处理运算增加沉重的负担，大大降低显示、处理、分析和传输点云数据的效率。因此，在尽可能地保留点云数据特征和内在信息的基础上，压缩数据量是进一步处理点云数据的必然选择。而且，由于点云数据形式的稀疏表示特性及渲染呈现的实时性需求，相较于传统的媒体数据，其几何结构复杂，特征信息多样化且维度较高。尤其，精细化的点云数据蕴含了丰富的细节。因此，需要进一步研究动态点云数据的高效压缩技术，减少数据量，以保证可靠传输及相应的媒体服务质量。

但是3D点云模型的消费过程当中，由于点在一定区域内的分布可能会很密集而造成的遮挡使用户不能在某一时刻观看到模型的全部，即有一部分点是无法被用户消费的。而在现有的压缩传输方法主要面向3D点云的整体压缩，力求重建之后的每一个点都逼近原始模型，而无法把一帧完整的点云模型分成能被消费的点和无法被消费的点，从而大量的网络带宽资源和终端计算能力被浪费在这部分无法被消费的点上。

现有传输手段主要有广播、宽带网和移动通信网，其信道容量和数据压缩效率虽以每五年翻一番的速度提升，但面对视听媒体内容数据指数性的增长仍难免捉襟见肘。而3D点云媒体的数据量又是传统视听媒体数据量的数倍，仅靠单一网络各自独立的技术演进和扩容都无法满足沉浸式媒体大流量的传输需求。针对此问题，本发明将提出一套针对3D点云序列的动态分视角传输系统架构。

由发送器输出可知，每一个点云序列由多组不同码率的视频所表示，每组视频又包含六路视频，每一路代表一个独立的视角。由任何一路视频独立恢复出的部分点云都可以呈现该视角下的完整画面。由于3D视觉的特征，在有限的一段时间内，用户只能观看到模型的一个视角，而其他视角所呈现的内容无法被用户观看到，因此把网络带宽和客户端的计算能力花费在这些内容上是毫无意义的。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于3D点云数据的分视角压缩和传输方法及系统。

根据本发明提供的一种基于3D点云的分视角压缩和传输方法，包括如下步骤：发送步骤：从扫描设备获取点云数据，将点云数据中的点进行规则化，生成多路视频，并存放于服务器内；