[发明专利]一种基于稀疏冗余表示模型的视频帧率上转换方法

摘要

本发明公开了一种基于稀疏冗余表示模型的视频帧率上转换方法，其步骤包括(1)估计前帧ft‑1与后帧ft+1之间任意像素位置(i，j)处前向光流向量vt‑1，t+1(i，j)；(2)根据运动对称假设，在前帧ft‑1的前向光流场vt‑1，t+1基础上，逐像素实施双向三维递归搜索，计算当前像素位置(i，j)处的最优光流向量vt，t+1(i，j)；(3)逐像素对应光流场vt，t+1中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现；(4)利用前帧ft‑1与后帧ft+1、光流场vt，t+1，构造当前帧ft的稀疏重建模型；(5)估计稀疏重建模型中的正则化参数与稀疏表示字典；(6)采用非线性优化方法求解稀疏重建模型，获得当前帧估计与现有技术相比，本发明能够有效提升视频帧率上转换的性能。

主权项

一种基于稀疏冗余表示模型的视频帧率上转换方法，其特征在于该方法包括：双向光流场提纯、光流场平滑、稀疏重建模型构造、正则化参数估计以及字典学习；双向光流场提纯方法为，根据运动对称假设，在由前帧ft‑1到后帧ft+1的前向光流场vt‑1，t+1基础上，逐像素实施双向三维递归搜索，当前帧ft在像素位置(i，j)处的候选光流向量集合为CSi，j＝{vt，t+1(i，j‑1)，vt，t+1(i‑1，j)，vt‑1，t(i，j)，vt‑1，t(i，j+1)，vt‑1，t(i+1，j)，vt，t+1(i‑1，j‑1)+ua，vt，t+1(i+1，j+1)+ub}其中vt‑1，t为由前帧ft‑1到当前帧ft的前向光流场，vt‑1，t在像素位置(i，j)处的光流向量vt‑1，t(i，j)按下式计算：vt-1,t(i,j)=vt-1,t+1(i,j)2]]>ua与ub为更新向量，随机从以下集合中依次选取：US={00,01,0-1,02,0-2,10,-10,30,-30}]]>提取以像素位置(i，j)为中心的尺寸为wp×wp区域内所有像素位置组成Ωi，j，计算当前像素位置(i，j)处的最优光流向量vt，t+1(i，j)如下：vt,t+1(i,j)=argminv∈CSi,j{Σs∈Ωi,j|ft-1(s-v)-ft+1(s+v)|+τ||v||2}]]>其中v为CSi，j中的候选光流向量，s为Ωi，j中的任意像素位置，ft‑1(s‑v)是前帧ft‑1在像素位置s‑v处的像素值，ft+1(s+v)是前帧ft+1在像素位置s+v处的像素值，||·||2为l2范数，τ为取为0.3，Ωi，j尺寸wp设置为7；光流场平滑方法为，若当前像素位置(i，j)处的光流向量vt，t+1(i，j)方向与其四连接区域像素的光流向量方向不一致时，就认为vt，t+1(i，j)估计发生错误，并将其方向纠正，保持与四连接区域像素光流向量方向一致，从左至右，从上到下，逐像素对应光流场中光流向量进行平滑，保证光流在局部区域内的一致性，以抑制错误光流向量出现；稀疏重建模型构造方法为，提取当前帧ft在以像素位置(i，j)为中心的尺寸为wp×wp区域Ωi，j内所有像素亮度值，并按列排列为向量xi，j，称xi，j为像素位置(i，j)处的图像子块，即满足xi，j＝Ri，jft其中Ri，j是用于提取ft中像素位置(i，j)处图像子块的矩阵，图像子块尺寸wp设置为7，利用运动对称性，由线性内插法可计算xi，j的估计pi，j如下：pi,j(k)=12[ft-1(Ωi,j(k)+vt,t-1(i,j))+ft+1(Ωi,j(k)+vt,t+1(i,j))]]]>其中pi，j(k)为pi，j的第k个分量，Ωi，j(k)是pi，j(k)在Ωi，j内对应的像素位置，pi，j与xi，j之间存在有一定预测误差，即pi，j(k)＝xi，j(k)+ni，j(k)其中xi，j(k)为原始图像子块xi，j的第k个分量，ni，j(k)为预测误差项，将ni，j(k)建模为均值为0、方差为σ2i，j的加性高斯噪声，原始图像子块xi，j稀疏表示建模如下：xi，j＝Di，jai，j+mi，j式中Di，j为xi，j的稀疏表示字典，ai，j为xi，j的稀疏表示系数，其服从参数为θi，j的拉普拉斯分布，mi，j为噪声项，其服从均值为0、方差为η2i，j的加性高斯噪声，考虑ft中所有像素对应的图像子块，可构造出最终的稀疏重建模型如下：{f^t,α^i,j}∀i,j=argminft,αi,j{||Ri,jft-Di,jαi,j||22+λi,j||pi,j-Ri,jft||22+μi,j||αi,j||1}]]>其中正则化参数λi,j=ηi,j2σi,j2,μi,j=2ηi,j2θi,j]]>上式采用数值计算方法根据如下步骤求解：步骤1：初始化待求解变量ft(0)为当前帧ft的线性内插估计，设定最大迭代次数为10；步骤2：固定ft(n)，稀疏重建模型化简为{αi,j(n)}∀i,j=argminαi,j{||Ri,jft-Di,jαi,j||22+μi,j||αi,j||1}]]>等价于{αi,j(n)}∀i,j=argminαi,j||αi,j||0,s.t.||Ri,jft-Di,jαi,j||22≤ϵi,j2]]>式中||·||0为l0范数，即向量中非0分量个数，εi，j与μi，j成反比，可按经验固定为0.01，采用正交匹配追踪算法求解得ai，j的第n次迭代解ai，j(n)；步骤3：固定ai，j(n)，稀疏重建模型化简为ft(n)=argminft{||Ri,jft-Di,jαi,j(n)||22+λi,j||pi,j-Ri,jft||22}]]>有闭式解如下：ft(n)=[Σi,j(Ri,jTRi,j+λi,jRi,jTRi,j)]-1[Σi,j(Ri,jTDi,jαi,j(n)+λi,jRi,jTpi,j)]]]>其中上标T代表对矩阵进行转置运算，步骤4：重复步骤2至步骤3，直到满足||ft(n)‑ft(n‑1)||2≤0.001为止，此时迭代解即为当前帧估计；正则化参数估计方法为，正则化参数λi，j由σ2i，j和η2i，j决定，对于σ2i，j，首先计算前后参考帧ft‑1与ft+1沿着光流轨迹的亮度值绝对差值如下：di，j＝|ft‑1(s+vt，t‑1(i，j))‑ft+1(s+vt，t+1(i，j))|其中s代表内插帧ft在位置(i，j)处的像素坐标，ft‑1、ft及ft+1在s处的像素取值分别为ft‑1(s)、ft(s)及ft+1(s)，利用上式估计σ2i，j如下：σ^i,j=a·di,j+b]]>由数值分析结果分别设定a、b取值为0.75、3.5，对于η2i，j，在求解稀疏重建模型的每次迭代中进行更新，首先利用第n次迭代的稀疏表示系数ai，j(n)计算图像子块估计如下：x^i,j(n)=Di,jαi,j(n)]]>接着，利用图像子块估计的样本方差估计η2i，j如下η^i,j2=1N-1Σk[x^i,j(n)(k)]2-[1NΣkx^i,j(n)(k)]2;]]>其中N为图像子块xi，j的像素个数字典学习方法为，首先，逐像素抽取前后参考帧ft‑1与ft+1内图像子块组成训练集合S，接着，提取S内任意样本梯度值作为特征，利用K‑mean算法根据特征将S划分为3个聚类{S1，S2，S3}，计算聚类内所有样本均值作为聚类中心{c1，c2，c3}，最后，利用主成份分析算法计算各聚类的主成份，并组成对应于3个聚类的正交变换矩阵{P1，P2，P3}，在求解稀疏重建模型的每次迭代中，利用图像子块xi，j的第n‑1次迭代选择学习字典如下：li,j=argminq||x^i,j(n-1)-cq||22]]>Di,j=Pli,j.]]>