[发明专利]一种针对AVS2的帧内快速模式决策方法

权利要求书

1.一种针对AVS2的帧内快速模式决策方法，其特征在于，包括下列步骤：

步骤一、利用Sobel算子获取当前PU中每个像素在水平和垂直方向的梯度值，计算如下所示；

Gx_ij＝p_i+1,j-1+2×p_i+1,j+p_i+1,j+1-p_i-1,j-1-2×p_-1i,j-p_i-1,j+1, (1)

Gy_ij＝p_i-1,j-1+2×p_i,j-1+p_i+1,j-1-p_i-1,j+1-2×p_i,j+1-p_i+1,j+1, (2)

其中p_i,j代表在位置(i,j)上的像素，Gx_ij和Gy_ij分别代表像素水平方向和垂直方向的梯度值；

步骤二、根据上步骤得到的Gx_ij和Gy_ij，通过公式(3)计算当前PU的梯度角θ；

其中n表示当前PU中水平方向或垂直方向的像素数；

步骤三、通过公式(4)得到当前PU的纹理方向角β；

步骤四、在AVS2标准中，PU的帧内预测模式一共有33种，包括3种非角度预测模式0～2和30种帧内角度预测模式3～32，每种角度预测模式对应一种纹理方向角；当β最接近帧内角度预测模式3或32所对应的纹理方向角时，转到步骤六；否则转到下一步；

步骤五、将β与30种角度预测模式对应的纹理方向角进行比较，选择与β最接近的12种角度所对应的帧内角度预测模式，再加上3种非角度预测模式，遍历上述12种角度所对应的角度预测模式和3种非角度预测模式的基于SATD的率失真代价的计算；经过比较，获得其中9种基于SATD的率失真代价较小的帧内预测模式作为候选模式，将候选模式按照其对应的基于SATD的率失真代价由小到大的顺序依次排列，形成第一级候选列表；转到步骤七；

步骤六、当β最接近帧内角度预测模式3或32所对应的纹理方向角时，对当前PU进行AVS2标准中的RMD过程，即完整遍历33种帧内预测模式的基于SATD的率失真代价的计算，获得其中9种基于SATD的率失真代价较小的帧内预测模式作为候选模式；将候选模式按照其对应的基于SATD的率失真代价由小到大的顺序依次排列，形成第一级候选列表；

步骤七、将不同尺寸的预测单元PU均重复以上步骤，完成所有预测单元PU的第一级候选列表的构建；

步骤八、将当前PU左侧相邻PU的最优帧内预测模式和第一级候选列表中的模式进行比较；如果第一级候选列表中存在最优帧内预测模式，则候选列表不发生改变；如果不存在最优帧内预测模式，则将候选列表中最后一位的模式去掉，剩余模式依次向后移动一位，把左侧相邻PU的最优帧内预测模式置于候选列表的第一位；

步骤九、对于当前PU上侧相邻的PU和前一帧相同位置的PU的最优帧内预测模式重复步骤八中的过程；

步骤十、最后根据PU尺寸的不同在候选列表中选择前3或5种候选模式进行RDO；即：4x4PU选择前5种，8x8、16x16、32x32、64x64PU选择前3种；

其中，上述的SATD、RMD和PU的含义如下，

SATD：sum of absolute transformed difference,绝对变换差值之和；

RMD：rough mode decision,粗略的模式决策；

PU：prediction unit,预测单元。