[发明专利]融合局部和全局时空特性的无参考视频质量评估方法

摘要

本发明公开了一种融合局部和全局时空特性的无参考视频质量评估方法，首先训练融合局部和全局时空特性的视频质量回归器，其次利用训练的视频质量回归器进行视频质量预测，在对未知质量的视频片段判别视频质量时，计算该段视频对应的视频片段质量特征向量，把视频片段质量特征向量输入已完成训练的支持向量回归器，该支持向量回归器的输出值即为未知质量的视频片段对应的视频质量评估值。本发明在对受损视频进行质量评估时，不需要无损视频片段作为参考，减少了视频信息的丢失。

主权项

一种融合局部和全局时空特性的无参考视频质量评估方法，其特征在于，首先，训练融合局部和全局时空特性的视频质量回归器，步骤如下：步骤1，模拟运动一致性、灰度敏感性和纹理复杂性对人眼视觉感知的效应，完成单帧的局部时空特征计算；步骤2，通过奇异值分解汇聚成单帧质量特征向量QFk，完成形成的视频平均质量向量MV与视频差值特征向量DV级联，形成视频片段质量特征向量；步骤3，用训练视频的视频片段质量特征向量和对应主观质量评分MOS值完成对支持向量回归器SVR的训练；其次，利用训练的视频质量回归器进行视频质量预测，在对未知质量的视频片段判别视频质量时，首先按照上述步骤1至步骤2计算该未知质量的视频片段对应的视频片段质量特征向量，然后把视频片段质量特征向量输入已完成训练的支持向量回归器，该支持向量回归器的输出值即为未知质量的视频片段对应的视频质量评估值；所述步骤1中的步骤为：2.1构造单帧内的局部块对单个的视频帧，划分为相互不覆盖的矩形块：假设单帧的宽、高分别为W和H个像素，每个局部块的长、宽都等于B个像素，则单帧划分为个局部块，其中符号表示下取整运算；分割完成的局部块按各自在帧内出现的位置排放；2.2、构造运动信息图采用视频编码中的经典三步法对每个局部块局部搜索其运动向量，利用搜索获得的运动向量，构造局部运动张量T：T=fxfxyfxyfy---(1)]]>其中fx=Σi,jw(i,j)Mx2(i+m,j+n)]]>fy=Σi,jw(i,j)My2(i+m,j+n)]]>fxy=Σi,jw(i,j)Mx(i+m,j+n)My(i+m,j+n)]]>m,n是当前局部块中心像素对应的帧内空间位置下标，w(i,j)是加权窗函数，Mx是指运动向量X轴方向的值，My是指运动向量Y轴方向的值，i,j是指求和的下标；计算张量T的特征值λ1和λ2，则局部的运动一致性μm,n定义为：μm,n=(λ1-λ2λ1+λ2)2---(2)]]>把每个局部块的运动一致性信息按局部块在帧内出现的位置进行排列，构成单帧的运动信息图Γ＝{μm,n}；2.3构造空间复杂性图在滤波器0°，45°，90°，135°的4个方向，分别对每个局部块的像素进行1维Psudo‑Wigner滤波，滤波器形成的窗口宽度N等于8，按Psudo‑Wigner分布的定义：P[m,n,k]=2Σb=-N/2N/2-1zm,n(b)zm,n*(b)e-2i(2πbk)/N---(3)]]>其中zm,n(·)是处于滤波器窗口中的局部块像素灰度值，是其共轭，b是指滤波器窗口中的局部块像素位置下标，k是空间频率下标，代表不同的空间频率，不同方向的滤波器窗口构成不同的Wigner分布；对P[m,n,k]能量归一化后，得到各个方向的Psudo‑Wigner分布归一化形式：其中下标θ表示不同滤波器窗口的方向；根据局部块的归一化Psudo‑Wigner分布，各个方向滤波器对局部块的Renyi熵表示为：纹理的复杂程度由不同方向的Renyi熵的差异性来表示，把纹理复杂度表示为四个方向Renyi熵的标准差Std与均值Mean的比值：ηm,n=Std{Rθ[m,n]}Mean{Rθ[m,n]}---(6)]]>通过计算单帧中每个局部块的纹理复杂性ηm,n，形成局部块的空间复杂性图Λ＝{ηm,n}；所述步骤2中的步骤为：3.1形成感知权重图对运动信息图Γ和空间复杂性图Λ进行合成，形成每个局部块的感知权重Wm,n：Wm,n=ηm,n(1-e-5μm,nmax(μm,n))---(7)]]>其中max(μm,n)是对单帧内所有局部块求取最大值；3.2变换域条带划分对每个局部块的灰度分量进行DCT变换，形成DCT变换域系数du,v，u,v表示变换域系数的下标，对变换后的系数du,v非直流系数按条带划分，将DCT变换域系数从低频向高频划分为{C0,C1,C2,……Cs}条带，其中每个条带的取值满足：Ci=Σu+v=idu,v]]>i是指条带编号，取值为0‑s，s与局部块像素宽度B的关系是s＝2B‑1；在DCT变换后，根据人眼视觉感知的掩码效应，去除条带编号i大于s的高频信息和条带编号i等于0的直流分量，将保留的成分{C1,C2,……Cs‑1}级联形成s‑1维的向量，用于表示局部块的视觉特征信息；3.3合成单帧质量特征向量根据运动信息和纹理复杂性信息对人眼感知的加权效应，模拟运动信息和纹理复杂性对视频感知质量的屏蔽效应，用感知权重Wm,n对每个局部块内的DCT条带进行加权的结果QBm,n,i：QBm,n,i＝Wm,nCi  (8)按公式(8)加权后，形成单帧内局部块的时空质量指标图QB＝{QBm,n}，其中的每个元素QBm,n是17维向量；根据时空质量指标图，对单帧内所有局部块的特征向量求均值，形成的单帧质量特征向量QFk表示为QFk=1m×nΣm,nQBm,n---(9)]]>上式的求和按向量加法进行，形成的QFk是17维向量；对视频序列的每帧分别计算单帧质量特征向量，由此获得视频所有帧的时空特性指标{QFk，k＝1，...，L}是指该视频片段所有帧的数量；3.4合成视频片段质量特征向量根据视频序列对应的单帧质量特征向量序列{QFk}，对视频片段的所有单帧质量特征向量求均值，形成的视频平均质量向量MV表示为：MV=1LΣk=1..LQFk---(10)]]>对视频质量特征向量序列{QFk}的相邻单帧质量特征向量求差，获得相邻帧的质量差值特征向量，质量差值特征向量代表了视频序列中大的视觉效应突变；然后，把视频片段所有质量差值特征向量进行平均，形成的视频差值特征向量DV表示为：DV=1L-1Σk=2..L|QFk-QFk-1|---(11)]]>公式(11)中的绝对值运算表示对向量的每个元素求绝对值，视频平均质量向量和视频差值向量级联，构成视频片段质量特征向量MF＝[MVT,DVT]T；由于QFk是17维向量，所以最终形成的MF向量维数是34；所述步骤3中的步骤为：利用带主观视频质量评分值的训练视频库，完成客观视频质量回归器的训练，即对训练视频库中的每段视频计算它的视频片段质量特征向量MFl，其对应的主观质量评分MOSl值已知，把视频片段质量特征向量集合{MFl,l＝1,..,S}和对应的主观质量评分集合{MOSl,l＝1,..,S}送入支持向量回归器，完成视频质量回归器的训练；其中S是视频片段的数量。