[发明专利]基于上下文自适应阈值的依赖量化剪枝方法

权利要求书

1.一种基于上下文自适应阈值的依赖量化剪枝方法，其特征在于，包括如下步骤：

步骤1：系数量化分类：通过分析系数量化决策区间，将DQ量化结果简化为基于量化余数ξ的分类问题；

步骤2：建立基于上下文的自适应阈值模型：DQ会根据量化候选值的取值情况选择使用不同的上下文模型进行码率的计算，在量化过程中，使用的上下文模型采用index表示，对使用的上下文模型进行区分，建立以编码器量化参数QP，量化器状态S_k和index为变量的自适应阈值模型；

步骤3：自适应阈值确定：采用累积分布函数来衡量正确判断的概率，将得到的自适应阈值离线存储在表格中；

步骤4：系数预判决、裁剪“安全”路径：通过自适应阈值对系数进行预判决，根据判决结果提前剪除非必要量化路径，简化全路径搜索；

步骤5：网格状态更新。

2.根据权利要求1所述的基于上下文自适应阈值的依赖量化剪枝方法，其特征在于，所述步骤1包括如下具体步骤：

变换系数C_(i)经过硬判决量化得到预量化值l_SQ，如公式1所示，式中Q_step为量化步长，为了直观地表现变换系数相对l_SQ的分布关系，对量化器量化决策区间进行统计，根据量化余数ξ的舍入情况，l_DQ被分类为“向下取整样本”和“向上取整样本”，其中ξ定义如公式2，前者意味着l_DQ等于l_SQ，相应ξ值被舍入为0，后者意味着l_DQ等于l_SQ+1，相应ξ值被舍入为1，因此采用ξ相关的阈值T_DR和T_UR对系数进行预判决分类，如公式3所示，

公式1

公式2

公式3

3.根据权利要求2所述的基于上下文自适应阈值的依赖量化剪枝方法，其特征在于，所述步骤2包括如下具体步骤：

DQ会根据量化候选值的取值情况选择使用不同的上下文模型进行码率的计算，在量化过程中，使用的上下文模型采用index表示，采用公式4所示对使用的上下文模型进行区分，同时，根据DQ原理，不同的量化器重构方式不同，编码器量化参数QP和量化器状态S_k会对量化结果产生重要影响，因此建立以QP，S_k和index为变量的自适应阈值模型，T_DR和T_UR被表示为公式5所示离散函数，

公式4

公式5(T_DR,T_UR)＝Ψ(QP,S_k,index)。

4.根据权利要求3所述的基于上下文自适应阈值的依赖量化剪枝方法，其特征在于，所述步骤3包括如下具体步骤：

采用累积分布函数来衡量正确判断的概率：

首先，对使用同一上下文概率模型的系数进行分类统计，将系数分成若干子区间；

其次，对每一个子区间内的样本进行离线CDF分析，T_DR和T_UR的取值是根据需求进行调整的，设置两个最大错误判断概率ω和用于表示通过阈值预判决错误的概率，首先在y轴上画出两条1-ω和的虚线用于确定阈值，分别用于“向下取整样本”和“向上取整样本”的判断，这两条水平线分别与两类样本的CDF曲线有两个交叉点，分别过两个交叉点做两条虚线垂直于x轴，与x轴交点即为T_DR和T_UR，如公式6表示：

公式6

判错概率决定了RD性能，而判断正确的概率有助于降低复杂度，阈值T_DR和T_UR通过权衡复杂度和RD性能来预先定义；

最后，将得到的自适应阈值离线存储在表格中。