[发明专利]一种嵌入式雾天实时视频稳像方法

摘要

本发明公开了一种嵌入式雾天实时视频稳像的方法，解决雾天视频中存在的抖动和对比度下降的问题。本发明的方法包括如下步骤：A、将基于Harris角点的视频稳像和带颜色恢复的Retinex算法同时应用于嵌入式系统中进行雾天视频处理中。对实时采集到的图像进行YUV空间的基于Harris角点的稳像处理和基于带颜色的多尺度Retinex算法的去雾处理，恢复出清晰无抖动的图像；B、实现了YUV空间上去雾和稳像进行的有效结合，并基于嵌入式系统特性对算法进行了优化。本发明既能够有效消除拍摄视频中的抖动，又能得到清晰景物信息，改善图像的视觉效果，同时能够达到实时的运行速度，从而为实时性监控系统提供很好的应用价值。

主权项

1.一种嵌入式雾天实时视频稳像方法，其特征在于，步骤如下：A、判断当前帧数是否是第一帧，若是，则检测当前帧中的Harris角点，从中选取N个Harris强角点，并将Harris强角点的位置信息分别保存在Cornerx和Cornery中，输出图像到步骤E进行处理；若不是，则直接进行步骤B的处理；A1、采集到的视频为YUV空间，Y通道像素即为灰度值，直接进行当前帧图像中Harris角点检测，Harris角点检测的步骤如下：(1)利用VLIB库中函数VLIB_xyGradientsAndMagnitude()计算当前帧图像L(x,y)在x和y方向上的梯度值Ix,Iy；(2)将梯度值Ix,Iy作为输入，利用VLIB库中函数VLIB_harrisScore_7x7()计算图像的Harris角点评分值；(3)然后利用函数VLIB_nonMaxSuppress_3x3_S16()对Harris角点的评分值进行3×3邻域的非极大值抑制，即删除评分值小于thresh的Harris角点，thresh设为12000；(4)遍历步骤(3)处理后剩余的Harris角点，选取Harris角点之间的Euclidian距离大于5×5的N个角点，则得到了当前帧图像中的Harris强角点；A2、将A1中检测到的Harris强角点的横坐标和纵坐标存储在Cornerx和Cornery中；B、使用前一帧图像作为参考帧，利用Lucas‑Kanade光流法跟踪参考帧的角点得到当前帧的Harris角点坐标，然后通过随机采样一致性算法剔除参考帧与当前帧中误匹配的点，求解出相邻两帧图像的变换矩阵detaH；B1、根据视频连续帧之间的连续性，确定每帧图像的Harris角点也存在连续性，利用函数VLIB_trackFeaturesLucasKanade_7x7()对参考帧的图像坐标进行估计得到当前帧图像的Harris角点坐标Tracex和Tracey；B2、使用随机采样一致性算法，剔除参考帧和当前帧检测的Harris角点中的误匹配点，具体过程如下：(1)从参考帧图像和当前帧图像的Harris角点中每次随机各选取对应的2个点构成匹配对，代入下式：(2)然后利用奇异值分解求解出变换模型M，使用变换模型M对当前帧进行变换，计算参考帧中对应的匹配点坐标的Euclidian距离，如果Euclidian距离小于阈值，说明特征点满足模型，则将该特征点加入特征集consensus，并统计特征集个数in，当in大于最优特征集个数in_max时，更新最优特征集，同时更新变换模型M；(3)迭代次数k加1，当前错误概率p大于允许的错误概率p_badxform，则重复步骤(2)，当p小于p_badxform时停止迭代，经过算法筛选后，确定最后的变换模型M和最优特征点集，并得到最优点集个数in_max；B3、返回变换模型M作为变换矩阵detaH；C、利用当前帧的边界点和变换矩阵detaH计算当前帧的补偿参数，通过卡尔曼滤波对补偿参数进行平滑，得到当前帧的补偿矩阵motionH；C1、取当前帧的四个边界点(0,0)、(0,width‑1)、(height‑1,0)、(width‑1,height‑1)，并标记为边界点CornerA，边界点CornerA和变换矩阵detaH相乘，得到当前帧对应于参考帧中的边界点CornerB；C2、由边界点CornerB得到当前帧的水平和垂直偏移量detax、detay，偏转角度detaAngle以及缩放比例zoom；C3、通过卡尔曼滤波对detax、detay、detaAngle和zoom进行平滑处理，并得到当前帧的补偿矩阵motionH；D、利用当前帧的变换矩阵detaH和补偿矩阵motionH得到当前帧的全局变换矩阵H，对当前帧的Y、UV进行透视变换，得到当前帧稳像后的图像；判断当前帧数是否能被十整除，是，则按照步骤A中A1、A2的方法更新角点坐标，不是，则保存当前帧的角点坐标；D1、将变换矩阵detaH和补偿矩阵motionH相乘得到当前帧的全局变换矩阵H；利用全局变换矩阵H对当前帧的图像坐标进行变换，则有：其中，式中(x,y)为当前图像坐标，(x′,y′)为当前帧变换后所对应的坐标；D2、变换后得到的(x′,y′)为浮点坐标，对其进行双线性插值得到最后的图像的像素值；另设图像的浮点坐标为(u+α,v+β)，其中μ、ν为整数，α,β为[0,1]的浮点数，若u0＝u+α,v0＝v+β，则在(u0,v0)处的像素值f(u0,v0)表示为：判断当前帧数是否能被十整除，是，则按照步骤A中A1、A2的方法更新角点坐标，不是，则保存当前帧的角点坐标；E、对稳像后的图像Y通道进行下采样，然后进行空域高斯滤波，得到滤波后图像Yf；将滤波后图像Yf进行对数域转换得到Y通道的照度图像Y′；E1、对稳像后的图像Y通道进行下采样，设下采样后的图像为I(x,y)，通过调节高斯核的宽度参数c，选取小、中、大三个不同的尺度，一个小尺度c<50，一个中尺度50100，分别对应三个高斯核函数F1、F2、F3，使用三个高斯核的算术平均值代替几何平均值，对Y通道则有：其中，F(x,y)＝F1(x,y)+F2(x,y)+F3(x,y)；按照公式(5)，将时域滤波转换到空域，对采样后的图像I(x,y)进行高斯滤波后得到图像If(x,y)，首先将图像I(x,y)进行傅里叶变换，再与高斯核函数相乘，然后再进行傅里叶逆变换后得到图像If(x,y)；其中，F(u,v)为F(x,y)进行频域变换后的表达式，I(u,v)为I(x,y)进行频域变换后的表达式；E2、将滤波后的图像If(x,y)进行最近邻插值得到图像Yf，再进行对数域转换得到照度图像Y′(x,y)：Y′(x,y)＝log(Y(x,y))‑log(Yf(x,y))     (6)式中，Y′(x,y)为照度图像，Yf(x,y)为If(x,y)插值后的结果；F、将照度图像Y′进行灰度值拉伸后得到YR，对稳像处理后的图像的色度通道uv进行均衡化处理得到uv′，得到清晰图像；F1、通过计算得到照度图像Y′的均值μ和方差σ，而得到照度图像的像素值的动态范围的边界值下饱和点Rmin＝μ‑3σ，上饱和点Rmax＝μ+3σ；F2、滤波后得到的照度图像Y′可能存在暗淡，细节不够突出的问题，因此，需要通过线性拉伸增强对比度，对Y通道进行如下处理：其中，Y′(x,y)为照度图像，YR(x,y)为最后得到的清晰图像的Y通道图像；F3、由于有雾图像在色度图像上的像素值都接近128，因此将稳像后的色度通道的图像uv(x,y)按照下式进行线性色度调整后可以提高图像的对比度，更加符合实际情况：uv′(x,y)＝uv(x,y)×3‑256     (8)式中，uv(x,y)为稳像后图像的色度通道，uv′(x,y)为调整后的色度值。