[发明专利]基于帧内模式决策的混合分布式视频编码方法

摘要

一种能够改进率失真性能的基于小波域帧内模式决策的混合分布式视频编码方法。其特征是包括下列步骤：(1)低复杂度编码，具体包括下列步骤：用传统的帧内编码器对关键帧编码；用加权平均内插生成Wyner－Ziv帧的参考帧；用减法运算生成残差帧；对残差帧进行离散小波变换(DWT)；生成小波块；小波块的帧内模式决策；模式信息的熵编码；小波块的帧间SW－SPIHT编码或帧内SPIHT编码。(2)高复杂度解码，具体包括下列步骤：用传统的帧内解码算法对关键帧解码；由运动估计内插法来产生Wyner－Ziv的边信息帧；加权平均内插生成解码端的参考帧；用减法运算生成解码端的残差帧；对残差帧进行离散小波变换；模式信息的熵解码；应用LBS进行运动估计生成更精确的边信息；小波系数的精细重构；逆离散小波变换(IDWT)和用加法运算恢复原始像素。

主权项

1、基于帧内模式决策的混合分布式视频编码方法，其特征是包括下列步骤：I.低复杂度编码，具体包括下列步骤：(1).读取设定值l、T1、T2、T3：其中l是一个图像组即GOP所包含的所有图像帧的个数，T1和T2是时间相关性判断准则的门限值、T3是空间相关性判断准则的门限值，然后读取GOP+1个图像值；(2).对关键帧的H.264/AVC帧内编码，生成H.264帧内码流，然后发送到解码端；(3).对关键帧的H.264/AVC帧内解码；(4).生成当前Wyner-Ziv帧的参考帧Wre，具体方法是利用公式Wre＝αK′j+βK′j+1 (1)其中，K′i和K′i+1分别为当前Wyner-Ziv相邻的前一个和下一个已解码的关键帧；α＝1-r/l，β＝1-α，其中r为当前编码帧与前一个关键帧K′i之间的距离，即帧数，l表示这个图片组(GOP)中所有帧的个数；(5).生成残差帧：残差帧是指当前要编码的Wyner-Ziv帧w与其参考帧的差值，即残差帧D＝W-Wre；(6).对残差帧进行离散小波变换：：对D＝W-Wre进行离散小波变换即DWT，输出小波图像Cd；(7).对小波图像产生小波块；(8).对每个小波块进行帧内模式决策编码的判断：每个小波块，利用公式(2)(3)计算其时间相关性参数ELL、空间相关性参数ρ2，在条件1：ELL≥T1或条件2：T2≤ELL＜T1且ρ2≤T3满足时，其编码模式参数设定为1，其余情况下编码模式参数设定为0；其中，时间相关性参数计算根据当前小波块的低频能量ELL：$E_{\mathrm{LL}}=\underset{i=1}{\overset{N_{\mathrm{LL}}}{\mathrm{\Σ}}}{\left(C_i^{\mathrm{LL}}\right)}^2---\left(2\right)$CiLL是小波块最低频小波带LL(3)的第i个小波系数，NLL是LL(3)中所有系数的总数；空间相关性参数计算是基于当前小波块高频率系数的方差，如式(3)：${\mathrm{\ρ}}^2=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\left|C_i\right|}^2-{\left(\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{C}_i\right)}^2---\left(3\right)$其中Ci表示第i个高频系数，N是所有高频系数的总数；(9).模式码流的熵编码：对所有小波块按照“从左到右从上到下”的顺序扫描其编码模式，形成模式码流，对模式码流进行熵编码，发送到解码端；(10).对小波块进行编码：对每个小波块，如果编码模式为1，使用传统的帧内SPIHT编码，形成帧内intra-SPIHT码流；如果模式为0则用帧间模式的SW-SPIHT进行编码，形成帧间SW-SPIHT码流；最后将intra-SPIHT码流和SW-SPIHT码流发送到解码端；II.高复杂度解码，具体包括下列步骤：(1).用H.264帧内解码方式解码关键帧；(2).产生边信息帧Y：由解码的关键帧通过双向运动补偿内插法来产生内插Wyner-Ziv帧的边信息帧Y，具体利用以下公式：Y(x，y)＝α×K′j(x+β×dxf，y+β×dyf)+β×K′j+1(x-α×dxf，y+α×dyf)+α×K′j(x-β×dxb，y-β×dyb) (4)+β×K′j+1(x+α×dxb，y+α×dyb)其中(x，y)为内插帧像素的坐标；[dxb，dyb]和[dxf，dyf]为解码的关键帧之间的后向和前向的运动矢量，其可通过半像素运动估计法得到；α和β与公式(1)中相同；(3).生成参考帧：与编码端相同，利用公式(1)来产生参考帧Wre；(4).生成残差帧：残差帧是指边信息帧Y和参考帧Wre的差值帧，即Dy＝Y-Wre；(5).对残差帧进行离散小波变换：对残差帧Dy＝Y-Wre进行DWT变换，其结果系数Cdy也形成小波块；(6).模式码流的熵解码：无失真地恢复模式码流(7).帧间SW-SPIHT解码：根据解码的模式码流，如果当前小波块的模式值为0，则在Cdy中取相同位置的小波块作为边信息，进行帧间SW-SPIHT解码；(8).帧内intra-SPIHT解码和小波域运动估计：如果当前小波块的模式值为1，则进行帧内intra-SPIHT解码，具体执行下列步骤：首先是intra-SPIHT解码以获得恢复的小波块系数C′iH，接下来应用LBS进行小波域的运动估计，即由C′iH来获得更精确的边信息CdyLBS，具体的LBS运动估计为：$C_d^{\mathrm{yLBS}}=\underset{i\∈\mathrm{referenced}}{\min }|C_d^{\′H}-C_i^{\mathrm{LBS}}|---\left(5\right)$其中CiLBS是第i个参考小波块的系数，参考小波块由LBS产生的所有帧的所有参考小波块组成，其参考范围为dx＝[-8，+8]，dy＝[-8，+8]；(9).小波系数的精细重构：经过帧间SW-SPIHT或帧内intra-SPIHT解码的过程，得到恢复的SPIHT信息，利用公式(6)通过恢复的SPIHT信息来精细Cdy；${C^{\′}}_d=\left\{\begin{array}{ccc}{v}_{\max },& \mathrm{if}& C_d^y\≥v_{\max }\\ C_d^y,& \mathrm{if}& C_d^y\∈(v_{\min },v_{\max })\\ v_{\min },& \mathrm{if}& C_d^y\≤v_{\min }\end{array}\right..---\left(6\right)$其中C′d为最终的小波系数；vmax和vmin分别为根据恢复的SPIHT位平面信息推断的Cd的最大值和最小值，即当Cd的所有位平面都能被恢复时的最大值和最小值；m为Cd位平面的总数，而当前恢复的位平面数用n来表示，其中m＞n；(10).逆离散小波变换IDWT：对C′d进行IDWT从而恢复差值D′；(11).恢复原始像素：参考帧Wre和差值D′的和作为恢复的最后像素值，即W′＝D′+Wre。