[发明专利]低延迟视频编码中时域率失真优化方法

摘要

本发明属于视频编码技术领域，尤其涉及低延迟视频编码中基于时域依赖性的率失真优化方法。本发明采用循环的图像组(group of picture，GOP)结构，每4帧为一个GOP，将所述GOP内的帧分别分配到不同的层，相同层的帧遵循相似的参考帧及QP分配规则。分析低延迟编码中层次结构的时域依赖性，并根据低延迟编码中时域依赖性建立时域传播链，如图2所示，进而进行时域依赖性的率失真优化建模。求取传播因子ω_a和全局拉格朗日乘子λ_g。最后，本发明根据传播因子ω_a，仅通过对全局拉格朗日乘子λ_g的调整实现时域率失真优化。

主权项

1.低延迟视频编码中时域率失真优化方法，其特征在于，包括如下步骤：S1、根据低延迟视频编码中时域依赖性，建立时域传播链，其中，所述时域传播链具有如下特性：低延迟视频编码中每个GOP中第一帧，即rPOC＝1的帧仅考虑前一帧对其的影响，每个GOP内的其他三帧，即rPOC＝2、3、4的帧仅考虑前一帧及前向最近的key帧对其的影响；S2、建立当前编码单元U_i的时域率失真优化目标方程其中，i＝1,2,3,...,N，N表示低延迟视频编码的总帧数，A代表一帧中所有的编码单元，为U_j的期望失真，U_j是编号为j的编码单元，o_i表示第i个编码单元的编码参数，R_i(o_i)表示第i个编码单元的码率，D_i为当前编码单元的失真，表示第j个受到当前编码单元U_i影响的后续编码单元的失真，λ_g为全局拉格朗日乘子，^*代表该编码参数为最优编码参数，定义当前编码单元U_i,a为帧f_i中第a个编码单元，j＝i+1,...,N，a＝1,2,3,...,A；S3、根据S2所述时域率失真优化目标方程，求受到当前编码单元U_i影响的后续编码单元的期望失真具体为：rPOC＝1的帧中的编码单元U_i+4m+1的期望失真为E(D_i+4m+1)，rPOC＝2的帧中的编码单元U_i+4m+2的期望失真为E(D_i+4m+2)，rPOC＝3的帧中的编码单元U_i+4m+3的期望失真为E(D_i+4m+3)，rPOC＝4的帧中的编码单元U_i+4m+4的期望失真为E(D_i+4m+4)，其中，K_i+4m+1为常数，P_i+4m,i+4m+1代表在帧f_i+4m+1中以f_i+4m为参考帧的编码单元的比例，其中，K_i+4m+2为常数，P_{i+4m+1,i+4m+2}代表在帧f_i+4m+2中以f_i+4m+1为参考帧的编码单元的比例，P_i+4m,i+4m+2代表在帧f_i+4m+2中以f_i+4m为参考帧的编码单元的比例，其中，K_i+4m+3为常数，P_{i+4m+2,i+4m+3}代表在帧f_i+4m+3中以f_i+4m+2为参考帧的编码单元的比例，P_i+4m,i+4m+3代表在帧f_i+4m+3中以f_i+4m为参考帧的编码单元的比例，K_i+4m+4为常数，P_{i+4m+3,i+4m+4}代表在帧f_i+4m+4中以f_i+4m+3为参考帧的编码单元的比例，P_i+4m,i+4m+4代表在帧f_i+4m+4中以f_i+4m为参考帧的编码单元的比例，m＝0,1,2,...,M表示第m个GOP，共有M+1个GOP，o¹上标“1”表示前一帧为参考帧，o²上标“2”表示前向最近key帧为参考帧；S4、将所述S3中的受到当前编码单元U_i影响的后续编码单元的期望失真代入S2所述当前编码单元U_i的时域率失真优化目标方程，并删除所有常数项K_*，进行简化，具体简化为：当前编码单元U_i属于key帧且该帧rPOC＝4时，则简化为：当前编码单元U_i所在非key帧的rPOC分别为1、2、3时，则简化为：S5、求S4中所述目标方程中的当前编码单元Ui及后续编码单元的失真，具体步骤为：β_i+4m,i+4m+1表示编码单元U_i+4m对U_i+4m+1的影响程度的经验值，β_i+4m,i+4m+1＝α·F(θ_i+4m,i+4m+1)，且F(θ)为经验值，为原始编码单元U_i+4m与U_i+4m+1的运动补偿误差，α为常数，β_{i+4m+1,i+4m+2}表示编码单元U_i+4m+1对U_i+4m+2的影响程度的经验值，β_{i+4m+1,i+4m+2}＝α·F(θ_{i+4m+1,i+4m+2})，且为原始编码单元U_i+4m+1与U_i+4m+2的运动补偿误差，β_i+4m,i+4m+2表示编码单元U_i+4m对U_i+4m+2的影响程度的经验值，β_i+4m,i+4m+2＝α·F(θ_i+4m,i+4m+2)，且为原始编码单元U_i+4m与U_i+4m+2的运动补偿误差，β_{i+4m+2,i+4m+3}表示编码单元U_i+4m+2对U_i+4m+3的影响程度的经验值，β_{i+4m+2,i+4m+3}＝α·F(θ_{i+4m+2,i+4m+3})，且为原始编码单元U_i+4m+2与U_i+4m+3的运动补偿误差，β_i+4m,i+4m+3表示编码单元U_i+4m对U_i+4m+3的影响程度的经验值，β_i+4m,i+4m+3＝α·F(θ_i+4m,i+4m+3)，且为原始编码单元U_i+4m与U_i+4m+3的运动补偿误差，β_{i+4m+3,i+4m+4}表示编码单元U_i+4m+3对U_i+4m+4的影响程度的经验值，β_{i+4m+3,i+4m+4}＝α·F(θ_{i+4m+3,i+4m+4})，且为原始编码单元U_i+4m+3与U_i+4m+4的运动补偿误差，β_i+4m,i+4m+4表示编码单元U_i+4m对U_i+4m+4的影响程度的经验值，β_i+4m,i+4m+4＝α·F(θ_i+4m,i+4m+4)，且为原始编码单元U_i+4m与U_i+4m+4的运动补偿误差，符号Q为量化步长，与量化参数QP的关系是S6、将S5中所述当前编码单元U_i及后续编码单元的失真代入S4中所述当前编码单元U_i的时域率失真优化目标方程，得到所述ω_a为传播因子，具体为：当前编码单元Ui属于key帧时，当前编码单元Ui属于非key帧时，，其中，β＝α·F(θ)，且S7、将全局拉格朗日乘子λ_g和S6所述传播因子ω_a代入进行时域率失真优化，初始化当前帧的λ_g为λ_HM，λ_HM为标准HEVC中设定的当前帧的拉格朗日乘子；S8、依次对当前帧中A个编码单元，进行步骤S2‑S7的所述的率失真优化处理；S9、对S7所述全局拉格朗日乘子λ_g进行更新，更新得到其中，为U_i的时域累积失真；S10、对S1所述低延迟视频编码中其他帧进行步骤S2‑S9的所述率失真优化处理。