[发明专利]基于多传感器雾天行车视觉增强与能见度预警系统及方法

权利要求书

1.一种基于多传感器雾天行车视觉增强与能见度预警系统，其特征在于：包括电源(1)、变压插头(2)、红外摄像头(3)、毫米波雷达(4)、车载电控单元模块(5)、车载显示屏(10)、汽车音响设备(11)、车载扬声器(12)、车速传感器(13)，所述电源(1)通过变压插头(2)与红外摄像头(3)连接，电源(1)通过导线与毫米波雷达(4)连接；

所述车载电控单元模块(5)包括有无雾图像分类模块(6)、图像去雾模块(7)、能见度值计算模块(8)和预警模块(9)；所述有无雾图像分类模块(6)的一端与红外摄像头(3)通过导线连接，有无雾图像分类模块(6)的另一端通过导线与图像去雾模块(7)连接；所述图像去雾模块(7)通过导线与能见度值计算模块(8)连接；所述能见度值计算模块(8)通过导线与预警模块(9)连接；

所述车载显示屏(10)通过导线与图像去雾模块(7)连接；所述汽车音响设备(11)的一端通过导线与预警模块(9)连接，汽车音响设备(11)的另一端通过导线与车载扬声器(12)连接；所述车速传感器(13)通过导线与预警模块(9)连接。

2.一种基于多传感器雾天行车视觉增强与能见度预警方法，其特征在于：

包括以下步骤

步骤一、建立有无雾道路图像分类器并进行实时图像分类

Ⅰ建立道路图像支持向量机SVM分类器

①红外摄像头(3)采集N张红外道路图像和红外非道路图像，并将采集到的图像传输到有无雾图像分类模块(6)，其中包括N₁张红外道路图像和N₂张红外非道路图像，N、N₁、N₂均为自然数，在有无雾图像分类模块(6)中建立道路图像分类器的图像训练库；

②通过道路图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据道路纹理获得道路图像特征，对道路图像和非道路图像分类，并获得红外道路图像特征，道路图像支持向量机SVM分类器建立完成；

Ⅱ建立有无雾图像分类器

①红外摄像头(3)采集M张不同雾浓度的红外有雾图像和红外无雾图像，其中包括M₁张有雾红外图像和M₂张无雾红外图像，M、M₁、M₂均为自然数，在有无雾图像分类模块(6)中建立有无雾图像分类器的图像训练库；

②通过有无雾图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据有雾图像灰度值频率特征，提取有雾图像和无雾图像的一维灰度直方图图像特征，并根据图像的直方图对有雾图像和无雾图像进行分类，有无雾图像高斯混合模型GMM分类器建立完成；

③通过有无雾图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据有雾图像和无雾图像的傅里叶变换频率特征，对有雾图像和无雾图像进行分类，并提取有雾图像和无雾图像的傅里叶变换频率特征，有无雾图像支持向量机SVM分类器建立完成；

将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到有雾图像样本库；

Ⅲ实时图像分类

①红外摄像头(3)采集实时图像；

②利用道路图像支持向量机SVM分类器分类，得到红外道路图像；

③对红外道路图像进行灰度色彩转换、收缩摄像机图像、高斯模糊去噪和直方图均衡化，得到处理后道路图像；

④利用有无雾图像高斯混合模型GMM分类器和有无雾图像支持向量机SVM分类器分别对处理后的道路图像进行有无雾分类，并将有无雾图像高斯混合模型GMM分类器分类出的有雾图像和有无雾图像支持向量机SVM分类器分类出的有雾图像取并集，得到实时有雾道路图像；

IV制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，基于L2范数的相对错误评价标准是将得到的实时有雾道路图像与有雾图像样本库中有雾道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，则实时图像为有雾道路图像；

步骤二、建立图像去雾模型

①大气光学模型为I(x)＝J(x)e^-βd+A(1-e^-βd)，I(x)为分类后的有雾图像，J(x)为去雾之后的清晰图像，A为全球大气光成分，e^-βd为大气透射率值t，β为大气消光系数，d为能见度值；

②取有雾道路图像在红绿蓝RGB三通道图像中的最小通道灰度图像，然后再对获取的灰度图像做最小值滤波，获得有雾图像暗通道：其中，J^dark是指J的暗通道，J^C表示彩色图像的每个通道，C为RGB三通道；Ω为包含所有像素的整个图像窗口，为整个图像窗口所有像素中的最小值像素，为整个图像窗口每个像素RGB三个通道分量的最小像素值；

③从暗通道图像中按照亮度大小取前0.1％的像素，然后在原始有雾图中寻找对应的具有最高亮度的点的值，作为大气光的成分值A；

④处理大气光学模型，形式如下：

I(x)＝J(x)e^-βd+A(1-e^-βd)

其中C为RGB三通道，对上式两端求暗通道即对上式两边求两次最小值运算，再利用暗通道灰度值接近零，因此，可推导出：

其中t为大气透射率值，由于雾的存在使人感到景深的存在，因此在中引入一个[0,1]之间的因子ω，获得大气透射率图，

⑤得到透射率图的边缘和纹理细节都有损失，采用中值滤波器对透射率图进行边缘保持的滤波器优化,获得细化透射率图；

⑥设置阈值t₀，当t值小于t₀时，令t＝t₀,以t₀＝0.1为标准，将处理后的三通道图像合成，恢复出去雾后的清晰图像J(x)，

⑦将去雾前后同一内容的图像对比，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，获得出图像所有行灰度变化率的均值，该均值超过给定阈值，则再次进行图像去雾过程；该均值小于等于阈值，则完成清晰度评价，并将去雾后的清晰图像存入车载显示屏(10)的缓存中；

⑧去雾后图像在车载显示屏(10)上显示

按下车载显示屏(10)上的视觉增强功能键，车载显示屏(10)同步显示缓存中即时的去雾后的实时清晰图像；

步骤三、建立雾天能见度计算模型

大气能见度为平行光通过大气衰减到原始光通量的0.05时的距离，可推导出能见度值V

通过获得清晰图像过程中得到的大气消光系数β，获得能见度值V；

步骤四、构建雾天安全驾驶预警策略

在预警模块(9)中根据实时处理的有雾道路能见度值，在预警模块(9)中设定实时处理的有雾道路能见度等级；根据从车速传感器(13)获取的行车车速，在预警模块(9)中设定车速等级；在预警模块(9)中设定毫米波雷达(4)检测到的与前车间距等级；

能见度等级、车速等级、与前车间距等级符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级均在同一等级，则不提供给驾驶员预警信息；能见度等级、车速等级、与前车间距等级不符合安全的逻辑关系即能见度等级、车速等级、与前车间距等级不在同一等级，则预警模块(9)通过车载扬声器(12)发出声音警告并在车载显示屏(10)上显示警告信号。