[发明专利]一种在线实时三维模型视频编解码方法

说明书

本发明提供了一种在线实时三维模型视频编解码方法，通过Meshsequential算法将三维模型压缩后嵌入到视频流中自定义的NAL单元，然后将编码后的纹理图NAL单元和自定义的模型NAL单元均封装到ts码流包中，并通过网络发送至客户端，客户端进行解码展示。针对一定顶点数和面片数的三维模型，该方法编解码一帧数据在30ms以内，可做到在线实时展示三维模型，且是以视频码流的形式展示，普通播放器也可以播放该码流的纹理部分；与微软的FVV、Holopoetation相比，本发明既可以实现在线实时直播，也可以实现视频编解码，更加适合于网络的流式传输，可以达到360度观看视频，大大改善了观看体验。

技术领域

本发明涉及三维模型视频编解码技术领域，具体的说是一种在线实时三维模型视频编解码方法。

背景技术

在三维模型视频领域中，主要包含纹理图编解码和三维模型编解码两部分。目前涉及三维模型视频编解码的文章、技术或专利较少，现有文章有微软FVV、Holoportation等。

微软FVV将纹理图按照H.264视频编码方法编码为视频流；对于三维模型，首先借助于网格跟踪，通过将三维模型分为关键帧和预测帧。关键帧包含几何信息（顶点坐标和纹理坐标）和连接信息，几何信息编码采用量化16bit方法，连接信息采用delta编码、可变字节三角形方法；而预测帧只包含几何信息增量，并利用线性运动预测计算几何增量，然后进行量化和哥伦布压缩编码。最后将压缩后的模型数据嵌入到视频流中自定义的NAL单元，形成带有网格模型的mp4文件。该方法压缩编码一帧需要2.2s时间，做不到在线实时展示三维模型。

针对纹理图，Holorportation采用LZ4压缩算法压缩纹理图；针对三维模型，Holorportation首先执行顶点去重操作，以降低顶点坐标数据量，其次将纹理坐标数据量化至16bit，然后用LZ4方法压缩去重量化后的三维模型数据，最后通过TCP将压缩后的纹理数据和三维模型数据直接传输至客户端。该方法可以做到有延迟的展示，但做不到视频编解码，不利于三维模型在网络上传输与播放。

此外，申请号CN 201280033913.2专利公开了“为具有重复结构的三维模型编码和解码位流的系统及方法”，该专利主要针对具有重复结构的3D(三维)模型进行压缩、编码及解码，而无法对不具有重复结构的三维模型进行压缩、编码和解码。申请号CN201010155134.2专利公开了“一种无线局域网络中三维模型传输和交互式绘制方法”，该专利是一种适用于无线局域网络中三维模型传输和交互式绘制方法，能够实现在移动客户端实现模型的任意分辨率的交互式实时绘制功能，主要针对无线局域网下三维模型的传输与绘制，无法对纹理进行压缩和传输。

发明内容

为了解决三维模型的在线实时视频编解码问题，做到以视频码流的形式在线展示三维模型，本发明提供了一种在线实时三维模型视频编解码方法，通过Meshsequential算法将三维模型压缩后嵌入到视频流中自定义的NAL（Network Abstraction Layer， 网络抽象层）单元，然后将压缩编码后形成的纹理图NAL单元和自定义模型NAL单元均封装到ts（Transport Stream，传输流）码流包中，并通过网络发送至客户端，客户端进行解码展示。该编码方法可做到在线实时展示三维模型，且是以视频码流的形式展示，普通播放器也可以播放该码流的纹理部分。

本发明为解决上述技术问题采用的技术方案为：一种在线实时三维模型视频编解码方法，该方法包括依次进行的服务端编码阶段、网络传输阶段和客户端解码阶段，具体实现步骤如下：

S1、纹理图编码：采用H.264视频编码标准对原始纹理图数据进行视频压缩，得到压缩后的纹理图数据，并封装入视频NAL单元；