[发明专利]一种三维立体视频编码的率失真模型优化方法

摘要

本发明公开了一种三维立体视频编码的率失真模型优化方法，其通过建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，并通过二次拟合方法建立编码量化步长与绘制失真的关系模型及编码量化步长与码率的关系模型，然后对率模型进行优化，分别获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，本方法在保证立体图像的整体质量的前提下，大大提高了虚拟视点图像的质量。

主权项

1.一种三维立体视频编码的率失真模型优化方法，其特征在于包括以下步骤：①将外部立体视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色立体视频及其对应的深度立体视频定义为原始三维立体视频，在空域上该原始三维立体视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；将介于左视点与右视点之间的视点作为虚拟视点；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的率失真模型，记为以保证获得最优的编码性能和绘制质量，其中，min[ ]为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t表示对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d表示对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t，R_d)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；③将D_v(R_t，R_d)近似表示为：Dv(Rt,Rd)≅Dt(Rt)+Dd(Rd),]]>其中，D_t(R_t)表示对以码率R_t分别对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和对应的原始左视点深度视频、原始右视点深度视频进行虚拟视点图像绘制的绘制失真，D_d(R_d)表示对原始左视点彩色视频、原始右视点彩色视频和以码率R_d分别对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点图像绘制的绘制失真；④通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与D_t(R_t)的关系模型，记为Dt(Rt)≅αt×(TQstep)2+βt×(TQstep)+γt,]]>通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与D_d(R_d)的关系模型，记为Dd(Rd)≅αd×(DQstep)2+βd×(DQstep)+γd,]]>其中，α_t、β_t和γ_t均为Dt(Rt)≅αt×(TQstep)2+βt×(TQstep)+γt]]>中的模型参数，α_d、β_d和γ_d均为Dd(Rd)≅αd×(DQstep)2+βd×(DQstep)+γd]]>中的模型参数；⑤通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的编码量化步长TQ_step与R_t的关系模型，记为Rt≅at×(1/TQstep)2+bt×(1/TQstep)+ct,]]>通过二次拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长DQ_step与R_d的关系模型，记为Rd≅ad×(1/DQstep)2+bd×(1/DQstep)+cd,]]>其中，a_t、b_t和c_t均为Rt≅at×(1/TQstep)2+bt×(1/TQstep)+ct]]>中的模型参数，a_d、b_d和c_d均为Rd≅ad×(1/DQstep)2+bd×(1/DQstep)+cd]]>中的模型参数；⑥根据TQ_step与D_t(R_t)的关系模型、DQ_step与D_d(R_d)的关系模型、TQ_step与R_t的关系模型及DQ_step与R_d的关系模型，对率失真模型进行优化，将优化后的率失真模型表示为：min[αt×(TQstep)2+βt×(TQstep)+γt+αd×(DQstep)2+βd×(DQstep)+γd]s.t.at×(1/TQstep)2+bt×(1/TQstep)+ct+ad×(1/DQstep)2+bd×(1/DQstep)+cd≤Rc;]]>⑦根据优化后的率失真模型min[αt×(TQstep)2+βt×(TQstep)+γt+αd×(DQstep)2+βd×(DQstep)+γd]s.t.at×(1/TQstep)2+bt×(1/TQstep)+ct+ad×(1/DQstep)2+bd×(1/DQstep)+cd≤Rc,]]>通过全搜索方法获取对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，将对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长记为将对原始左视点深度视频、原始右视点深度视频进行编码的编码量化步长记为⑧根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为QPtopt=6×log2TQstepopt+4;]]>根据设定的立体视频编码预测结构，采用最佳初始编码量化参数分别对原始左视点彩色视频的各个帧组中的各个原始左视点彩色图像及原始右视点彩色视频的各个帧组中的各个原始右视点彩色图像的亮度分量Y、第一色度分量U和第二色度分量V进行编码，得到左视点彩色视频的编码码流和右视点彩色视频的编码码流，然后服务端通过网络将左视点彩色视频的编码码流和右视点彩色视频的编码码流传输给用户端；⑨根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为QPdopt=6×log2DQstepopt+4;]]>根据设定的立体视频编码预测结构，采用最佳初始编码量化参数分别对原始左视点深度视频的各个帧组中的各个原始左视点深度图像及原始右视点深度视频的各个帧组中的各个原始右视点深度图像进行编码，得到左视点深度视频的编码码流和右视点深度视频的编码码流，然后服务端通过网络将左视点深度视频的编码码流和右视点深度视频的编码码流传输给用户端；⑩用户端分别对服务端发送来的左视点彩色视频的编码码流、右视点彩色视频的编码码流、左视点深度视频的编码码流和右视点深度视频的编码码流进行解码，得到左视点的彩色视频数据、右视点的彩色视频数据、左视点的深度视频数据和右视点的深度视频数据信息，然后采用基于深度图像的绘制得到各个时刻的虚拟视点视频。