[发明专利]一种基于局部视频活动度的屏幕视频质量识别方法

权利要求书

1.一种基于局部视频活动度的屏幕视频质量识别方法，其特征在于，步骤如下：

获取参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m；

对参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m采用3D-LOG滤波器，得到参考屏幕特征L_r.m(x,y,t)和失真屏幕特征L_d,m(x,y,t)；

基于屏幕特征计算得到屏幕区域相似度Sim_s,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscore_m；

对参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m采用3D-NSS方法，得到参考自然特征和失真自然特征

基于自然特征计算得到自然区域相似度Sim_n,m(x,y,t)，进而得到自然质量分数NFscore_m；

计算局部视频活动度Γ_m(P_x,y,t)；

基于局部视频活动度Γ_m(P_x,y,t)结合屏幕质量分数和自然质量分数获得最终失真屏幕视频质量评价值；

获取参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m，具体如下：

分别将输入参考屏幕视频V_r和失真屏幕视频V_d从第一帧开始每连续30帧按照时间轴组合成参考屏幕视频序列V_r＝{V_r,1,V_r,2,...,V_r,m,...,V_r,M}和失真屏幕视频序列V_d＝{V_d,1,V_d,2,...,V_d,m,...,V_d,M}，其中V_r,m和V_d,m分别代表第m个参考和失真屏幕视频序列，M为视频序列的数目，具体如下：

其中，f为取整函数，L为视频总帧数；

对参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m采用3D-LOG滤波器，得到参考屏幕特征L_r,m(x,y,t)和失真屏幕特征L_d,m(x,y,t)，具体如下：

分别提取参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m的3D-LOG特征作为参考屏幕特征L_r,m(x,y,t)和失真屏幕特征L_d,m(x,y,t)，如下：

其中，G(x,y,t)为3D-LOG滤波器，公式如下：

其中，(x,y,t)表示视频序列中每个像素的3D坐标，采用7×7×7的高斯核，标准差σ_m＝1.487；

基于屏幕特征计算得到屏幕区域相似度Sim_s,m(x,y,t)，基于3D-LOG池化策略得到屏幕质量分数SFscore_m，具体如下：

基于参考屏幕特征L_r,m(x,y,t)和失真屏幕特征L_d,m(x,y,t)得到屏幕区域相似度Sim_s,m(x,y,t)：

其中，c₁是一个用于保证数值稳定性的常数，c₁＝1；

屏幕区域相似度Sim_s,m(x,y,t)基于3D-LOG特征池化策略得到屏幕质量分数SFscore_m：

ω_s,m(x,y,t)＝max{L_r,m(x,y,t),L_d,m(x,y,t)}

对参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m采用3D-NSS方法，得到参考自然特征和失真自然特征具体如下：

采用3D-NSS方法对屏幕视频序列进行亮度归一化，如下：

其中，I(x,y,t)表示视频序列在空间点(x,y,t)处的像素值，μ(x,y,t)和σ(x,y,t)分别是以(x,y,t)为中心的局部补丁的局部均值和标准差，c＝1是一个保持数值稳定的常数，z＝{z_k,l,u|k＝-K,...,K,l＝-L,...,L,u＝-U,...,U}是一个采样到3个标准差并重新缩放为单位体积的三维圆对称高斯加权函数，K＝L＝U＝3分别表示标准化窗口的大小；

分别对参考屏幕视频序列V_r,m和失真屏幕视频序列V_d,m采用3D-NSS方法得到参考自然特征和失真自然特征

基于自然特征计算得到自然区域相似度Sim_n,m(x,y,t)，进而得到自然质量分数NFscore_m，具体如下：

基于参考自然特征L_r,m(x,y,t)和失真自然特征L_d,m(x,y,t)得到自然区域相似度Sim_n,m(x,y,t)：

其中，c₂是一个用于保证数值稳定性的常数，c₂＝0.01；

基于自然区域相似度Sim_n,m(x,y,t)得到自然质量分数NFscore_m：

计算局部视频活动度Γ_m(P_x,y,t)，具体如下：

失真视频序列V_d,m中每个像素点有相邻的八个对角方向的像素点，计算八个一距离对角像素差值之和：

V_m,1(P_x,y,t)＝(P_x,y,t-P_x-1,y-1,t+1)²+(P_x,y,t-P_x-1,y+1,t+1)²+(P_x,y,t-P_x+1,y-1,t+1)²+(P_x,y,t-P_x+1,y+1,t+1)²+(P_x,y,t-P_x-1,y-1,t-1)²+(P_x,y,t-P_x-1,y+1,t-1)²+(P_x,y,t-P_x+1,y-1,t-1)²+(P_x,y,t-P_x+1,y+1,t-1)²

以每个像素点为中心，相邻的八个对角方向的像素点之间可以形成四组二距离对角线，计算四个二距离对角像素差值之和：

V_m,2(P_x,y,t)＝(P_x-1,y-1,t+1-P_x+1,y+1,t-1)²+(P_x-1,y+1,t+1-P_x+1,y-1,t-1)²+(P_x+1,y-1,t+1-P_x-1,y+1,t-1)²+(P_x+1,y+1,t+1-P_x-1,y-1,t-1)²

结合失真视频序列V_d,m每个像素的一距离和二距离对角像素差之和得到局部视频活动度Γ_m(P_x,y,t)，如下：Γ_m(P_x,y,t)＝V_m,1(P_x,y,t)+V_m,2(P_x,y,t)

基于局部视频活动度Γ_m(P_x,y,t)结合屏幕质量分数和自然质量分数获得最终失真屏幕视频质量评价值，具体如下：

步骤8.1：计算局部视频活动度Γ_m(P_x,y,t)中非零元素的占比得到屏幕区域的比例P_m,1和自然区域的比例P_m,2，其中P_m,1+P_m,2＝1，考虑到人眼视觉对屏幕特征的敏感度，在计算屏幕区域的比例时加上视觉因子η_m，并通过归一化计算最终屏幕比例α_m，如下：

其中，视觉因子η_m的计算公式如下：

其中，V_m(Γ_m(P_x,y,t)＞15)表示局部视频活动度大于15的元素数量，V_m(Γ_m(P_x,y,t)＞0)表示局部视频活动度大于0的元素数量；

步骤8.2：基于最终屏幕比例α_m结合屏幕质量分数SFscore_m和自然质量分数NFscore_m，获得失真屏幕视频序列V_d,m的质量评价值，具体如下：

取各失真屏幕视频序列质量评价值的平均值作为最终失真屏幕视频质量分数，如下：

其中，M为总视频序列数。