[发明专利]一种在线实时三维模型视频编解码方法

摘要

本发明提供了一种在线实时三维模型视频编解码方法，通过Meshsequential算法将三维模型压缩后嵌入到视频流中自定义的NAL单元，然后将编码后的纹理图NAL单元和自定义的模型NAL单元均封装到ts码流包中，并通过网络发送至客户端，客户端进行解码展示。针对一定顶点数和面片数的三维模型，该方法编解码一帧数据在30ms以内，可做到在线实时展示三维模型，且是以视频码流的形式展示，普通播放器也可以播放该码流的纹理部分；与微软的FVV、Holopoetation相比，本发明既可以实现在线实时直播，也可以实现视频编解码，更加适合于网络的流式传输，可以达到360度观看视频，大大改善了观看体验。

主权项

1.一种在线实时三维模型视频编解码方法，该方法包括服务端编码阶段、网络传输阶段和客户端解码阶段，其特征在于：具体实现步骤如下：步骤一、服务端编码阶段，所述服务端编码阶段包括纹理图编码和三维模型编码，具体实现过程如下：S1、纹理图编码：采用H.264视频编码标准对原始纹理图数据进行视频压缩，得到压缩后的纹理图数据，并封装入视频NAL单元；S2、三维模型编码：采用Meshsequential算法对原始三维模型数据进行压缩，得到压缩后的三维模型数据，之后将压缩后的三维模型数据封装入自定义的模型NAL单元中；所述原始三维模型数据包含顶点坐标数据和面片索引数据，采用Meshsequential算法对原始三维模型数据进行压缩具体实现过程如下：S21、针对三维模型面片索引数据进行压缩：第一个面片的第一个索引数据存储为绝对值，其余面片的索引数据均存储为以前一位面片的索引数据为基础的相对值，直到所有面片索引数据均做完压缩和保存；S22、针对三维模型顶点坐标数据进行压缩：先对所有的顶点坐标数据进行量化，之后利用熵编码技术进行压缩编码；S23、在编码第一帧数据之前，将每个视角下的相机参数通过网络传输至解码端；S3、将步骤S1形成的视频NAL单元和步骤S2自定义的模型NAL单元封装入ts码流包，形成ts码流；步骤二、网络传输阶段：所述网络传输阶段将打包后的ts码流，通过网络传输至客户端；步骤三、客户端解码阶段，具体解码过程如下：T1、对步骤S3形成的ts码流包进行解包，得到NAL单元；T2、根据步骤T1得到的NAL单元类型，分离出纹理NAL单元和三维模型NAL单元；T3、纹理NAL单元和三维模型NAL单元分别采用x264视频解码器和Meshsequential模型解码器运行在子线程中进行解压缩，分别得到解压后的纹理数据和解压后的三维模型数据，并将解压后的纹理数据和解压后的三维模型数据存入缓冲区；采用Meshsequential模型解码器进行解压缩的具体实现过程如下：T31、根据编码端压缩过程，读取第一个面片索引数据，之后将相对值转化为绝对值，实现面片索引数据解码；T32、进行熵编码反过程和量化反过程，解压缩顶点坐标数据；T33、针对每一组面片索引，由相机参数、每个视角面片起始点和每个相机视角下纹理图起始点坐标算出每组面片索引数据中顶点对应的纹理坐标，根据纹理坐标进行纹理投影；T4、待缓冲区满时，按照每30ms一帧，依次将缓冲区内所有解压后的纹理数据按照三维模型中的纹理坐标映射至三维模型上，形成一个带纹理的三维模型视频帧；T5、通过构造三维渲染场景，依次展示每帧带纹理的三维模型视频帧，实现实时播放带纹理的三维模型视频。