[发明专利]一种基于主观感兴趣区域和时空域相结合的码率控制方法

摘要

本发明属于HEVC高清视频编码技术领域，公开了一种基于主观感兴趣区域和时空域相结合的码率控制方法，包括：基于空域计算每个CTU级目标比特分配权重；基于光流和全局运动估计算法计算每帧图像的运动区域作为时域感兴趣区域；依据由光流和全局运动估计算法得到的时域感兴趣区域结果，对得到的CTU级目标比特分配权重进行调整；将以时空域主观感兴趣区域检测得出的CTU级目标比特分配权重进行中心增强操作；得到最终编码CTU级目标比特分配进行编码操作；修改视频压缩最终评价标准。本发明相比于HM16.0压缩模型，在保证满足目标比特码率不变的情况下，使HEVC压缩主观效果更好。

主权项

1.一种基于主观感兴趣区域和时空域相结合的码率控制方法，其特征在于，所述基于主观感兴趣区域和时空域相结合的码率控制方法包括：(1)在空间域方面，采用基于直方图分布的频率计算方式修改原算法中CTU级目标比特分配权重；具体包括：步骤一，对每个64x64的CTU进行直方图统计，计算CTU编码块每级像素(0‑255)出现的频率，步骤二，基于得到的直方图分布，计算每个点的显著值，参考公式如下：其中，I(x,y)为图像原始像素值，Fre(i)为在CTU中每级像素值出现的频率；由该公式计算得到的显著值D(x,y)有效的反应每个点在整个CTU中所占的显著权值；步骤三，对CTU中每个点的显著值进行求和做为CTU的最终空域目标比特分配权重，参考公式如下：(2)在时间域方面，基于光流和全局运动估计算法检测出视频帧中的运动区域，根据运动区域修改（ 1） 中得到的CTU级目标比特分配权重；具体包括：步骤一，计算视频序列中每帧图像的光流场，采用以SIFT算法为基础的光流估计算法；步骤二，对一帧图像进行运动区域提取，基于得到的光流估计结果进行全局运动矢量估计，采用6参数的仿射模型来进行全局运动估计，具体公式参考如下：d_xi＝a₁x_i+a₂y_i+a₃；d_yi＝a₄x_i+a₅y_i+a₆；其中，(xi,yi)为当前帧F_n中第i点所处位置，(d_xi,d_yi)为当前序列从第F_n‑1帧到F_n帧的运动矢量，由光流估计得到，a＝(a₁,a₂,a₃,a₄,a₅,a₆)为所要求得的运动矢量；计算全局运动估计向量a公式参考如下：直到一帧图像结束便得到了一帧图像的运动区域；步骤三，将得到的图像运动检测图经过二值化处理得到二值化的运动区域图像，其中运动值大于平均值的归为运动点，否则归为非运动点；步骤四，按编码CTU的划分，将得到的二值化运动区域图像进行处理，得到每帧图像中运动剧烈的CTU；步骤五，基于得到的运动剧烈CTU检测，将由空域得到的CTU级目标比特分配值进行调整：D_L(m)＝a′*D(m)；其中，D(m)为由空域得到的CTU级目标比特分配权重值，a′为权重参数，根据由得出的当前CTU是否属于运动剧烈CTU取不同的值，如果当前CTU属于运动剧烈CTU，那么a′取大于1的值，否则，a′取小于1的值；(3)对得到的目标比特分配权重进行中心增强操作，得到最终CTU级目标比特分配，完成CTU级目标比特分配权重修改；对分配权重进行中心增强调整，具体参考公式：其中，D_L(m)为由时空域得到的CTU目标比特分配权重，row为当前CTU的行标识，col为当前CTU的列标识，midx为当前帧CTU划分行中值，midy为列中值，a″为固定参数；由中心增强调整公式可知，当分配图像中心区域CTU时，公式中项的值大于1；当编码非中心区域CTU时，项的值小于1，实现了对于图像中心区域CTU目标比特分配的增强和非中心区域的减弱；(4)修改视频压缩最终评价标准，基于眼动仪实验真实关注值对PSNR进行修改，形成更能反应人眼主观观测效果的ROI‑PSNR；具体公式如下：其中，m和n为图像宽和高，I(i,j)为图像原始像素点，K(i,j)为压缩重构后的图像像素点，ω(i,j)为每个点的权重参数，值计算公式参考如下：其中，a″和b为固定参数，V(i,j)为由眼动仪实验得到的图像中每一点的真实关注值，取值范围为0‑255，为该帧图像的关注值平均值；更新MSE_p的计算方式，并带入PSNR计算公式中，得到更符合人眼主观观测的ROI‑PSNR评价参数，公式参考如下：