[发明专利]应用于H.264到HEVC的帧间快速视频转码方法

摘要

应用于H.264到HEVC的帧间快速视频转码方法。根据H.264码流信息以及HEVC帧间编码信息，对于H.264到HEVC的转码器中的帧间编码部分，采取快速的模式决策和运动估计方法。对于深度为0、1层的CU，结合H.264码流解码得到的信息和HEVC编码信息获取2N×2N提前判定阈值和非对称划分(Asymmetric Motion Partition，AMP)判定阈值，之后确定其PU的搜索情况。对于运动估计部分，将通过H.264解码信息来确定其运动矢量搜索范围和运动矢量搜索精度。将运动矢量搜索精度分为整像素精度、亚像素精度以及零运动矢量三个部分。该方法可显著减少H.264到HEVC转码过程中帧间编码的计算复杂度。

主权项

1.应用于H.264到HEVC的帧间快速视频转码方法，其特征在于，首先使用JM解码器对原始码流进行解码，在解码过程中提取后续转码所需的码流信息，并得到解码后视频序列；在HEVC重编码时保存部分所需HEVC编码信息，结合H.264解码信息计算阈值，对于深度为0、1层的CU，结合H.264码流解码得到的信息和HEVC编码信息获取2N×2N提前判定阈值和非对称划分(Asymmetric Motion Partition，AMP)判定阈值，首先根据2N×2N判定阈值对CU进行提前2N×2N模式判决，然后预测PU是否直接判定为2N×2N模式，随后根据AMP判定阈值来判断是否需要搜索AMP模式，在深度2时则判断CU是否继续向下划分；对于运动估计过程，在PU计算运动矢量时，根据当前PU对应H.264解码得到的运动矢量最大值，限制其运动矢量的搜索范围，同时根据运动矢量值来确定运动矢量的搜索精度，包括可能产生的零运动矢量；具体包括以下步骤：步骤S1：基于H.264通用的测试平台JM，对输入码流进行解码，提取所需码流信息，同时得到解码后的视频序列；随后将解码得到的视频序列送入优化后的HEVC测试平台HM，并在编码过程中获取所需的阈值；步骤S1.1对于模式选择部分的相关阈值公式如下：首先对于2N×2N划分，确定的是，2N×2N大小内的所有区域共享一个运动矢量，其内部的运动矢量方差一定为0；同样的，对于非对称分割的模式，其划分出的两个不规则区域，各自区域都只会包含一个运动矢量，为此本文会在算法中引入运动矢量方差来辅助预测过程，其定义如下：其中D(MV_x)和D(MV_y)是前一帧非帧内编码图像中，当前层所有最优模式为SKIP和2N×2N划分时，对应运动矢量的x和y分量的方差，对前一帧内所有符合条件的运动矢量方差进行求和，然后求取其平均值作为阈值；若运动矢量为0，则不进行累加，其中n对应了运动矢量不为0的SKIP和2N×2N的个数；而对于AMP划分，其运动矢量只需按照下式进行计算，AMP_mv＝D(MV_x)+D(MV_y)其中D(MV_x)和D(MV_y)是当前层CU对应H.264中所有宏块，其运动矢量的x和y分量的方差，求得的即为用于判定AMP的阈值；而对于当前块的判定，其求值所需的运动矢量只包括AMP划分结果较大部分所对应的H.264宏块运动信息；除此之外，2N×2N划分中的特殊模式SKIP模式与其他预测模式相比，其编码所需的码字更少，其平均值通常只占个位数的比特数，而其他模式的最小码字一般与SKIP的最大码字相等，因此通过从H.264码流信息中获得的对应块的运动信息，可以提前预测出当前块的运动矢量分布情况，以此来预测当前块PU可能选择的模式；在本文算法中，编码比特数通过如下公式进行处理：Skip_bit＝Max(Avg(SKIP_bit)，Medium(SKIP_bit)，0.8×Max(SKIP_bit))其中，Avg(SKIP_bit)是上一帧图像所有最优模式为SKIP模式的对应H.264宏块平均编码比特数，Medium(SKIP_bit)是上一帧图像所有最优模式为SKIP模式的对应H.264宏块编码比特数的中值，Max(SKIP_bit)是上一帧图像所有最优模式为SKIP模式的对应H.264宏块编码比特数的最大值，其中0.8是修正系数，通过经验和实验得到；步骤S1.2对于运动估计部分的相关阈值公式如下：首先，对于HEVC的运动搜索过程，根据获取的运动信息来对搜索范围进行一个限定；首先将当前PU对应到H.264中覆盖的所有宏块，对其中包含的运动矢量根据以下公式求取最大运动矢量长度L_mv，L_mv＝Max(MV_xi，MV_yi)其中MV_xi和MV_yi表示了对应宏块中所有运动矢量的x和y分量，i是PU对应范围内所有4×4的H.264宏块个数；由于H.264和HEVC的运动估计过程基本相似，L_mv一定程度上指导运动搜索的范围，为此结合H.264的运动搜索范围SR₂₆₄和HEVC初始设置的运动搜索范围SR来确定新的搜索范围，其中SR₂₆₄由L_mv向上取最近的2的幂次获得，新的搜索范围SR_new计算如下，为了应对HEVC设置的SR大于H.264搜索范围的情况，当L_mv介于SR₂₆₄及其一半时，新的搜索范围SR_new直接选择HEVC初始运动搜索范围，否则根据第二个式子计算，若求得的SR_new大于HEVC设置的初始范围SR，则搜索范围设置为SR；除了运动搜索范围外，运动搜索精度也是优化部分，将运动搜索精度分成几个部分，零运动矢量，整像素精度，二分之一像素精度，四分之一像素精度，由于二分之一像素精度占据的比例不大，因此与四分之一像素精度合并为亚像素精度部分；通过获取的运动信息进行统计计数，具体的公式如下，该公式用于判断零运动矢量，其中MV_i是当前PU范围内对应的H.264运动矢量，若MV_i都小于β像素长度，则C_mv0判定为true，当前PU的运动矢量为0；其中QP为22和27时β为0.5，QP为32和37时β为1；以下公式则只适用于深度0和深度1：其中Count_p1为当前PU对应范围内整像素运动矢量的个数，Num_PU为当前PU中包含的运动矢量个数，当Count_p1占据总运动矢量个数7/8以上时，转码效果相对较好，因此设置0.875为修正系数；当P_mv为true时只需进行整像素搜索，否则进入亚像素搜索；对于深度2和深度3，根据当前CU对应到H.264中宏块的划分来确定；若在深度2对应运动矢量精度为整像素且CBP为0，或在深度3对应运动矢量精度为整像素且像素残差为0，则只需要进行整像素搜索；步骤S2：对于当前CU，在前一帧是帧间预测编码的情况下，对于深度为0的CU，计算当前2N×2N范围内对应H.264所有宏块运动矢量的方差curF_mv与前一帧的Th_mv作比较，根据得到的curF_mv是否不大于前一帧的Th_mv，判断是否只搜索SKIP和2N×2N模式，同时计算四种非对称划分模式各自较大块部分对应H.264的宏块运动矢量方差curAMPU_mv、curAMPD_mv、curAMPL_mv、curAMPR_mv，根据得到的curAMPU_mv、curAMPD_mv、curAMPL_mv、curAMPR_mv是否不大于前一帧的AMP_mv，判断是否需要搜索相应的非对称划分模式；步骤S3：如果当前深度为1，计算当前2N×2N范围内对应H.264所有宏块运动矢量的方差curF_mv和编码比特数curSkip_mv，与前一帧的Th_mv和Skip_bit作比较，根据得到的curF_mv是否不大于前一帧的Th_mv，或在上一层最优模式是2N×2N划分的情况下，curSkip_mv是否不大于前一帧的Skip_bit，判断是否只搜索SKIP和2N×2N模式，两个条件满足一个就进行模式缩减；同时计算四种非对称划分模式各自较大块部分对应H.264的宏块运动矢量方差curAMPU_mv、curAMPD_mv、curAMPL_mv、curAMPR_mv，根据得到的curAMPU_mv、curAMPD_mv、curAMPL_mv、curAMPR_mv是否不大于前一帧的AMP_mv，判断是否需要搜索相应的非对称划分模式；步骤S4：如果当前深度为2，搜索当前层所有模式，然后通过H.264的码流信息进行模式映射；若当前CU对应H.264的宏块为SKIP或Inter_16×16模式，则判定不进入深度3进行编码搜索；若当前CU对应H.264的宏块为Inter_16×8或Inter_8×16模式，则当对应宏块的CBP(Coded Block Pattern)为0时不继续向下一深度搜索；步骤S5：在PU搜索的RDO过程中，对运动估计过程实施进一步的优化，具体过程如下：步骤S5.1进入运动估计后，首先对该PU范围内对应的H.264运动矢量进行统计，计算出C_mv0，根据C_mv0可以直接判断当前PU的运动矢量是否为0；若运动矢量判定为0，则运动搜索过程提前中止；步骤S5.2根据获取的H.264运动信息和HEVC配置信息，计算出当前PU新的搜索范围SR_new，随后按照SR_new进行整像素搜索；对于深度为0和1的CU，根据当前PU范围对应的H.264宏块，获取所有的运动矢量精度，根据统计结果得出P_mv的值，进而判断是否只需要进行整像素搜索；步骤S5.3对于深度为2和3的CU，根据当前PU所在CU对应的H.264宏块，获取对应宏块运动矢量信息和残差信息，根据该信息来判断是否只需要进行整像素搜索。