[发明专利]一种三维视频编码的深度和彩色码率分配方法

摘要

本发明公开了一种三维视频编码的深度和彩色码率分配方法，其在获得最优的虚拟视点绘制质量情况下，通过二次拟合方法建立对原始左视点彩色视频、原始右视点彩色视频编码量化步长与原始左视点深度视频、原始右视点深度视频编码量化步长的关系模型，进而将彩色和深度比特分配问题描述为一个标准一元三次方程，再获得在一定码率下对原始左视点彩色视频、原始右视点彩色视频和原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，最后采用最佳初始编码量化参数分别对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码，不仅提高了虚拟视点视频的率失真性能，而且简化了码率分配操作过程。

主权项

1.一种三维视频编码的深度和彩色码率分配方法，其特征在于包括以下步骤：①将外部三维视频捕获工具捕获得到的未经处理的且颜色空间为YUV的彩色视频及其对应的深度视频定义为原始三维视频，在空域上该原始三维视频包括原始左视点三维视频和原始右视点三维视频，原始左视点三维视频包括原始左视点彩色视频和原始左视点深度视频，原始左视点彩色视频主要由若干个帧组的原始左视点彩色图像组成，原始左视点深度视频主要由若干个帧组的原始左视点深度图像组成，原始右视点三维视频包括原始右视点彩色视频和原始右视点深度视频，原始右视点彩色视频主要由若干个帧组的原始右视点彩色图像组成，原始右视点深度视频主要由若干个帧组的原始右视点深度图像组成，其中，YUV颜色空间的三个颜色分量的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V；将介于左视点与右视点之间的视点作为虚拟视点；将利用原始左视点彩色视频、原始右视点彩色视频经过编码、解码后对应得到的左视点彩色视频、右视点彩色视频与原始左视点深度视频、原始右视点深度视频经过编码、解码后对应得到的左视点深度视频、右视点深度视频进行虚拟视点绘制得到的虚拟视点视频的峰值信噪比的最大值作为最优的虚拟视点绘制质量；②建立对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的码率分配模型，记为以保证获得最优的虚拟视点绘制质量，其中，min{}为取最小值函数，R_c表示预先设定的对原始左视点彩色视频、原始右视点彩色视频与原始左视点深度视频、原始右视点深度视频进行编码的总码率，R_t(Q_t)表示采用彩色视频量化步长Q_t对原始左视点彩色视频、原始右视点彩色视频进行编码的码率，R_d(Q_d)表示采用深度视频量化步长Q_d对原始左视点深度视频、原始右视点深度视频进行编码的码率，D_v(R_t(Q_t)，R_d(Q_d))表示采用彩色视频量化步长Q_t对原始左视点彩色视频、原始右视点彩色视频进行编码得到的解码左视点彩色视频、解码右视点彩色视频和采用深度视频量化步长Q_d对对应的原始左视点深度视频、原始右视点深度视频进行编码得到的解码左视点深度视频、解码右视点深度视频进行虚拟视点绘制的绘制失真；③在最优的虚拟视点绘制质量下，通过二次拟合方法建立用来编码原始左视点彩色视频、原始右视点彩色视频的彩色视频量化步长Q_t与用来编码原始左视点深度视频、原始右视点深度视频的深度视频量化步长Q_d的二次关系模型，记为其中，a、b和c均为中的模型参数；④通过线性拟合方法建立对原始左视点彩色视频、原始右视点彩色视频进行编码的码率R_t与1/Q_t的关系模型，记为通过线性拟合方法建立对原始左视点深度视频、原始右视点深度视频进行编码的码率R_d与1/Q_d的关系模型，记为其中，X_t和L_t均为中的模型参数，X_d和L_d均为中的模型参数；⑤根据Q_t与Q_d的二次关系模型R_t与1/Q_t的关系模型R_d与1/R_d的关系模型及码率分配模型计算得到在最小的虚拟视点失真下的Q_t与R_c的关系：XtQt+Lt+XdaQt2+bQt+c+Ld≤Rc,]]>然后对XtQt+Lt+XdaQt2+bQt+c+Ld≤Rc]]>的两边取等号并化成标准一元三次方程，得到在最小的虚拟视点失真下的Q_t与R_c的关系模型为a(Rc-Lt-Ld)XtQt3+(b(Rc-Lt-Ld)Xt-a)Qt2+(c(Rc-Lt-Ld)-XdXt-b)Qt-c=0;]]>⑥在给定一个总码率R_c的情况下，根据在最小的虚拟视点失真下的Q_t与R_c的关系模型a(Rc-Lt-Ld)XtQt3+(b(Rc-Lt-Ld)Xt-a)Qt2+(c(Rc-Lt-Ld)-XdXt-b)Qt-c=0,]]>获取对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长，记为然后根据Q_t与Q_d的二次关系模型获取对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长，记为⑦根据对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化步长计算对原始左视点彩色视频、原始右视点彩色视频进行编码的最佳初始编码量化参数，记为然后根据设定的多视点视频编码结构采用对原始左视点彩色视频、原始右视点彩色视频进行编码，其中，为向上取整数符号；根据对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化步长计算对原始左视点深度视频、原始右视点深度视频进行编码的最佳初始编码量化参数，记为然后根据设定的多视点视频编码结构采用对原始左视点深度视频、原始右视点深度视频进行编码，其中，为向上取整数符号。