[发明专利]一种双目视觉的图像超分辨率融合去噪方法

摘要

本发明公开了一种双目视觉的图像超分辨率融合去噪方法。其步骤为：(1)输入待超分辨率融合的双目图像；(2)全局位置配准图像；(3)局部位置匹配图像；(4)更新双目图像；(5)图像超分辨率融合；(6)图像去噪；(7)输出最终高分辨率图像。本发明在图像配准中加入局部位置配准方法，并采用拉普拉斯算子应用于图像超分辨率融合，再对融合图像使用非局部均值滤波方法去噪，克服了现有技术无法解决图像局部位置不匹配，细节增强不足，以及不具备抑制噪声的缺陷，得到图像细节增强，噪声减小的超分辨率融合图像。

主权项

1.一种双目视觉的图像超分辨率融合去噪方法，包括如下步骤：(1)输入待超分辨率融合的双目图像：输入待超分辨率融合的的双目图像，其中，左摄像头拍摄的图像为左灰度图，右摄像头拍摄的图像为右灰度图；(2)全局位置配准图像：(2a)采用尺度不变特征转换SIFT方法，对左灰度图和右灰度图处理，得到左灰度图特征点和右灰度图的特征点；(2b)利用欧氏距离，从左灰度图中选取一个最终特征点，并在右灰度图找与该最终特征点最近的两个特征点，计算这两个特征点中距离中最近的距离与次近的距离的比值，判断该比值是否小于0.4，若是，则将选取的左灰度图的最终特征点与这两个特征点中距离最近的特征点匹配，将匹配好的特征点匹配对加入特征点匹配对集合；否则，丢弃选取的左灰度图的最终特征点；(2c)判断左灰度图中的最终特征点是否选取完，若是，执行步骤(2d)，否则，执行步骤(2b)；(2d)利用随机抽样一致RANSAC算法，剔除误特征点匹配对，得到特征点匹配对；(2e)利用得到特征点匹配对的坐标对应关系，列出坐标对应方程组，求解方程组，得到仿射变换矩阵；(2f)利用仿射变换矩阵，配准左灰度图和右灰度图，得到全局位置配准后的左灰度图和右灰度图；(3)局部位置匹配图像：(3a)将左灰度图的像素值拷贝至一个空白的图像集中，得到参考图像；将右灰度图的像素值拷贝至另一个空白的图像集中，得到目标图像；创建一个空白的重构图像集；(3b)在参考图像和重构图像中，以40个像素为宽度，等距离的将参考图像和重构图像均分为多个正方形的宏块，得到均分宏块后的参考图像和重构图像；选取均分宏块后的参考图像左上角的第一个宏块，作为参考宏块；选取均分宏块后的重构图像左上角的第一个宏块，作为重构宏块；将运动向量初始化为零向量；(3c)判断参考宏块是否位于参考图像左侧第一列，若是，则将参考宏块的臂长取值为20个像素；否则，按照下式，计算参考宏块的臂长：Γ＝MAX{CX,CY}其中，Γ表示参考宏块的臂长，MAX表示取最大值操作，CX表示运动向量的水平分量，CY表示运动向量的垂直分量；(3d)以参考宏块在参考图像中的坐标，在目标图像的相同坐标处，划定大小相同的目标宏块；(3e)取目标宏块的上下左右方向、距离为臂长的四个宏块，再取目标宏块用运动向量指向位置的宏块，将这五个宏块和目标宏块，共6个宏块作为检测宏块；(3f)按照下式，分别计算6个检测宏块与参考宏块的代价值：D＝∑|E‑O|其中，D表示检测宏块与参考宏块的代价值，∑表示求和操作，|·|表示取绝对值操作，E表示参考宏块，O表示检测宏块；(3g)从6个代价值中找出代价值最小的检测宏块，用代价值最小的检测宏块替换目标宏块，得到十字宏块；(3h)取十字宏块的上下左右四个方向、距离为1的四个宏块，将这四个宏块和十字宏块，共5个宏块作为比较宏块；(3i)按照下式，分别计算比较宏块与参考宏块的5个代价值：G＝∑|N‑I|其中，G表示比较宏块与参考宏块的代价值，∑表示求和操作，|·|表示取绝对值操作，N表示参考宏块，I表示比较宏块；(3j)从5个代价值中找出代价值最小的比较宏块，判断该代价值最小的比较宏块是否为十字宏块，若是，则执行步骤(3k)，否则，用该代价值最小的比较宏块替换十字宏块，执行步骤(3h)；(3k)将运动向量更新为十字宏块相对于参考宏块的矢量距离，将十字宏块的像素值拷贝到重构宏块；(3l)判断参考宏块是否为参考图像的最后一个宏块，若是，则得到重构图像，执行步骤(4)；否则，选取参考图像的下一个宏块，作为参考宏块；选取重构图像的下一个宏块，作为重构宏块，执行步骤(3c)；(4)更新双目图像：(4a)将重构图像与目标图像相减，得到差值图像；(4b)创建一个空白的新重构图像集；(4c)按照长宽均为40像素，分别对差值图像和新重构图像等距离的划分大小相同的宏块，得到划分宏块后的差值图像；(4d)从划分宏块后的差值图像中，每次选取一个宏块，判断该宏块的像素值总和是否大于差值阈值1600，若是，则用参考图像对应位置的宏块替换新重构图像对应位置的宏块，否则，按照下式，计算新重构图像对应的宏块：J＝(1‑K)×L+K×M其中，J表示新重构图像对应的宏块，K表示宏块边界权值矩阵，L表示重构宏块，M表示参考宏块；(4e)判断选取的宏块是否为差值图像的最后一个宏块，若是，则得到新重构图像，执行步骤(4f)，否则，执行步骤(4d)；(4f)将参考图像的像素值拷贝至左灰度图，将新重构图像的像素值拷贝至右灰度图，完成左灰度图和右灰度图的更新；(5)图像超分辨率融合：(5a)利用光流法，计算左灰度图与右灰度图的估计位移；(5b)按照下式，计算低分辨率帧间位移和高分辨率帧间位移：u＝FLO(RND(a*2)/2)v＝MOD(RND(a*2),2)其中，u表示低分辨率帧间位移，FLO表示向下取整操作，RND表示四舍五入操作，a表示左灰度图与右灰度图的估计位移，/表示除法操作，v表示高分辨率帧间位移，MOD表示取余操作；(5c)按照下式，计算新右灰度图：Gn＝VEC(u,Gr)其中，Gn表示新右灰度图，VEC表示位移变换操作，u表示低分辨率帧间位移；Gr表示右灰度图；(5d)将新右灰度图的像素值拷贝到右灰度图中；(5e)按照下式，计算高分辨率估计图：Z＝INT(Gl,2)其中，Z表示高分辨率估计图，INT表示插值操作，Gl表示左灰度图，2表示插值的倍数；(5f)将超分辨率迭代次数初始化为1；(5g)按照下式，计算高分辨率估计图的反向图像：Zr＝DSP(COV(VEC(v,Z),h))其中，Zr表示高分辨率估计图的反向图像，DSP表示下采样操作，COV表示卷积操作，VEC表示位移变换操作，v表示高分辨率帧间位移，Z表示高分辨率估计图，h表示高分辨率估计图的降质矩阵；(5h)按照下式，计算高分辨率估计图的反向梯度：Zg＝VEC(COV(USP(Zr),hT),vT)其中，Zg表示高分辨率估计图的反向梯度，VEC表示位移变换操作，COV表示卷积操作，USP表示上采样操作，T表示转置操作，Zr表示高分辨率估计图的反向图像，h表示高分辨率估计图的降质矩阵，v表示高分辨率帧间位移；(5i)按照下式，计算高分辨率估计图的反向正则：Ze＝COV(COV(Lp,Z),LpT)其中，Ze表示高分辨率估计图的反向正则，COV表示卷积操作，Lp表示拉普拉斯算子，Z表示高分辨率估计图，T表示转置操作；(5j)按照下式，计算高分辨率估计图的迭代差值：Zn＝be*(Zg+lm*Ze)其中，Zn表示计算高分辨率估计图的迭代差值，be表示高分辨率估计图的迭代系数，Zg表示高分辨率估计图的反向梯度，lm表示高分辨率估计图的正则系数，Ze表示高分辨率估计图的反向正则；(5k)将高分辨率估计图的像素值减去高分辨率估计图的迭代差值，得到更新后的高分辨率估计图；(5k)判断超分辨率迭代次数是否大于等于迭代阈值20，若是，则执行步骤(6)，否则，将超分辨率迭代次数加上1，执行步骤(5g)；(6)图像去噪：(6a)创建与高分辨率估计图相同大小的空白的去噪图像集，创建值为0的计数矩阵；(6b)选取高分辨率估计图的一个像素，将该像素作为处理像素；(6c)在高分辨率估计图中，以处理像素为中心点，划定宽为40的正方形块，将该正方形块作为处理宏块；(6d)在高分辨率估计图中，以处理像素为中心点，划定宽为200的正方形块，将该正方形块作为处理搜索窗；(6e)创建宽为40的正方形框，将该正方形框作为移动窗口；(6f)选取处理搜索窗内的一个宽为40的正方形块，将该正方形块的像素值拷贝到移动窗口；(6g)按照下式，计算移动窗口与处理宏块的相关权值数组：其中，ω表示在移动窗口与处理宏块的相关权值数组，e表示移动窗口中心点的横坐标值，f表示移动窗口中心点的纵坐标值，p表示处理宏块中心点的横坐标值，q表示处理宏块中心点的纵坐标值，exp表示以自然常数为底的指数运算操作，||·||表示取模值操作，Wm表示移动窗口，Wc表示处理宏块，σ表示相关权值的控制系数，表示开方操作，χ表示相关权值的距离系数；(6h)判断选取的处理搜索窗内的正方形块是否为处理搜索窗内的最后一个正方形块，若是，则执行步骤(6f)，否则，执行步骤(6g)；(6f)按照下式，计算去噪宏块：其中，Wd表示去噪宏块，λ表示处理宏块的融合权值，Wc表示处理宏块，∑表示求和操作，ω表示在移动窗口与处理宏块的相关权值数组，e表示移动窗口中心点的横坐标值，f表示移动窗口中心点的纵坐标值，p表示处理宏块中心点的横坐标值，q表示处理宏块中心点的纵坐标值，Wm表示移动窗口；(6g)将去噪宏块累加到去噪图像中，将计数矩阵中对应与去噪宏块位置的值加上1；(6h)判断处理像素是否为高分辨率估计图的最后一个像素，若是，则执行步骤(6i)，否则，执行步骤(6b)；(6i)将去噪图像除以计数矩阵，得到最终高分辨率图像；(7)输出最终高分辨率图像。