[发明专利]恶劣雾天道路图像信息恢复及车道保持预警方法

权利要求书

1.一种恶劣雾天道路信息恢复及车道保持预警方法，其特征在于：包括以下步骤，并且以下步骤顺次进行，

步骤一、采集能见度在1000米以上的非雾天、晴朗天气的道路图像作为理想参考图像，建立并训练道路图像概率神经网络分类器和不同雾浓度图像分类器，通过训练好的各分类器对工业摄像机(3)采集的实时图像进行分类，获得实时昏暗雾天道路图像和实时昏黄雾天道路图像，并对实时昏暗雾天道路图像和实时昏黄雾天道路图像的置信度进行评价，获得确为昏暗雾天道路图像的实时昏暗雾天道路图像和确为昏黄雾天道路图像的实时昏黄雾天道路图像；

步骤二、在基于颜色迁移方法的道路信息恢复模块(10)中建立基于颜色迁移的昏暗雾天道路图像信息恢复模型

①道路能见度在1000米以上的非雾天，晴朗天气采集的道路图像作为理想参考图像，基于颜色迁移方法的道路信息恢复模块(10)利用MATLAB软件提取理想参考图像的RGB颜色空间信息并传输到实时昏暗雾天道路图像，对理想参考图像进行颜色空间转换，将RGB颜色空间转换到LMS颜色空间，获得理想参考图像的LMS颜色空间的数据，转换公式如下所示：

其中，R是RGB色彩空间中红通道，G是RGB色彩空间中绿通道，B是RGB色彩空间中蓝通道，L表示亮度分量，色度分量M通道表示黄通道至蓝通道的光谱变化，色度分量S通道表示红通道至绿通道光谱变化；

②LMS颜色空间的数据存在分散倾向，分别对LMS颜色空间的数据取对数，转换到lαβ颜色空间，获得理想参考图像的lαβ颜色空间的数据，转换到lαβ颜色空间的形式如下所示：

其中，正交基的均匀色彩空间lαβ中，l表示亮度分量，色度分量α表示黄通道至蓝通道的光谱变化，色度分量β表示红通道至绿通道的光谱变化，L’为亮度分量L的对数，M’为色度分量M的对数，S’为色度分量S的对数；

③分别对理想参考图像和昏暗雾天道路图像的lαβ各个通道、各行对图像的每一个像素进行计算求平均，用每行的和除以图像宽度，分别获得理想参考图像和昏暗雾天道路图像的lαβ三通道中每行像素的平均值之和，lαβ三通道每行像素的平均值之和公式如下：

其中，H表示图像高度，l_jw表示图像j行w列l通道的像素值、α_jw表示j行w列α通道的像素值、β_jw表示图像j行w列β通道的像素值、W表示图像的宽度；w表示图像像素列向量,即图像宽度，w＝0,1,2,…W，l表示亮度分量，色度分量α表示黄通道至蓝通道的光谱变化，色度分量β表示红通道至绿通道的光谱变化；

利用MATLAB软件根据着色图像的线性变换获得实时昏暗雾天道路图像的lαβ各个通道、各行对图像的每一个像素值，利用上述的lαβ三通道每行像素的平均值之和公式，获得实时昏暗雾天道路图像的lαβ各通道每行像素的平均值之和；

④分别将获得的理想参考图像的lαβ三通道每行像素的平均值之和求和后再除以高度，实时昏暗雾天道路图像的lαβ三通道每行像素的平均值之和除以高度，分别获得理想参考图像以及实时昏暗雾天道路图像的全局平均值，利用全局均值和方差公式，分别获得理想参考图像以及实时昏暗雾天道路图像的全局均值和方差，将实时昏暗雾天道路图像和理想参考图像RGB转换为lαβ，目的是使两图像在lαβ空间有相同的均值和方差，所述均值方差形式如下：

其中，i表示图像像素的行向量，i＝1,2,3…W，W表示图像的宽度，H表示图像的高度，表示l通道的全局平均值，表示α通道全局平均值，表示β通道全局平均值，σ_l表示l通道的方差，σ_α表示α通道方差，σ_β表示β通道方差；

⑤理想参考图像的lαβ三通道空间的数据减去理想参考图像的相应均值，将数据按设定的比例缩放，经变换后分别加上实时昏暗雾天道路图像三通道的均值，获得理想参考图像在lαβ通道上的像素值，lαβ通道上的三通道像素值公式分别如下：

其中，表示理想参考图像l通道的数据减去理想参考图像的均值，表示l通道实时昏暗雾天道路图像与理想参考图像在l空间的缩放比例，其为实时昏暗雾天道路图像与理想参考图像方差的比值，表示实时昏暗雾天道路图像的l空间的平均值，σ^l_dst为l通道实时昏暗雾天道路图像的方差，σ^l_src为l通道理想参考图像的方差，σ^α_dst为α通道实时昏暗雾天道路图像的方差，σ^α_src为α通道理想参考图像的方差，σ^β_dst为β通道实时昏暗雾天道路图像的方差，σ^β_src为β通道理想参考图像的方差，为理想参考图像l通道的平均值，为理想参考图像α通道的平均值，为理想参考图像β通道的平均值，为实时昏暗雾天道路图像l通道的平均值，为实时昏暗雾天道路图像α通道的平均值，为实时昏暗雾天道路图像β通道的平均值；

⑥将实时昏暗雾天道路图像进行恢复处理后的结果图像，由lαβ颜色空间转换为RGB颜色空间，获得输出的图像，输出的图像同时具有理想参考图像的颜色和实时昏暗雾天道路图像的内容，其形式如下：

其中，L表示亮度分量，色度分量M通道表示黄通道至蓝通道的光谱变化，色度分量S通道表示红通道至绿通道光谱变化，R是RGB色彩空间中红通道，G是RGB色彩空间中绿通道，B是RGB色彩空间中蓝通道；

⑦昏暗雾天道路图像批量信息恢复

工业摄像机(3)实时采集的视频每隔60帧取一张昏暗雾天道路单帧图像，对昏暗雾天道路单帧图像重复步骤二中的①～⑥进行一次信息恢复处理，实现视频序列的昏暗雾天道路图像信息恢复；

⑧将昏暗雾天道路图像信息恢复前后图像对比，对于同一内容的图像，利用恢复前后图像边缘灰度变化率为指标评价图像清晰度，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，计算并获得图像所有行灰度变化率均值，该均值超过给定阈值，重复步骤二的①～⑦再次进行图像恢复，直至均值小于等于阈值，完成质量评价，并将昏暗雾天道路图像信息恢复后的清晰图像存入车载显示屏(13)的缓存中；

⑨昏暗雾天道路图像信息恢复后的结果在车载显示屏(13)上显示

按下车载显示屏(13)上的雾天道路信息恢复功能键，车载显示屏(13)同步显示缓存中即时的昏暗雾天道路图像信息恢复后的实时清晰图像；

步骤三、在基于三原色原理的昏黄雾图恢复模块(9)中建立基于三原色原理的昏黄雾天道路图像恢复模型

①分别获得采集的昏黄雾天道路图像的RGB三原色图层，分别为红色图层，绿色图层，蓝色图层，其中红色图层像素值表示为(R,O,O)，绿色图层像素值表示为(0,G,O)，蓝色图层像素值表示为(0,0,B)；

②去除昏黄雾天道路图像的黄色图层还原高透明度的蓝天，因此首先获得黄色图层，根据图层滤色原理，黄色图层Y如下所示：

Y＝255-(M反相×N反相)/255

其中，M代表红色图层的像素颜色值，N代表绿色图层的像素颜色值，Y表示滤色的结果，将红色图层和绿色图层像素的标准色彩值设定于0～1之间的任一值，相乘后输出，输出的结果是比两者的像素值都将要亮的黄色图层Y；

③根据图层滤色原理，获得昏黄雾天道路图像的去除黄色图层的蓝色通道图层如下所示：

X＝255-(Z反相×Y反相)/255

其中，Z表示蓝色图层的像素颜色值,Y表示黄色图层的像素颜色值,X表示经过去除黄色图层的蓝色通道图层；

④将红色通道图层、绿色图层以及去除黄色图层的蓝色图层进行三通道合成，最终获得去除昏黄雾的清晰无雾图像；

⑤昏黄雾天道路图像批量信息恢复

工业摄像机(3)实时采集的视频每隔60帧取一张昏黄雾天道路单帧图像，对昏黄雾天道路单帧图像重复步骤三中的①～④进行一次信息恢复处理，实现视频序列的昏黄雾天道路图像信息恢复；

⑥将昏黄雾天道路图像信息恢复前后图像对比，对于同一内容的图像，昏黄雾天道路图像信息恢复后图像的边缘相对昏黄雾天道路图像信息恢复前图像边缘灰度变化率为指标评价图像清晰度，以每一行灰度值连续下降间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，计算并获得图像所有行灰度变化率均值，该均值超过给定阈值，重复步骤三的①～④再次进行图像恢复，直至均值小于等于阈值，完成质量评价，并将昏黄雾天道路图像信息恢复后的清晰图像存入车载显示屏(13)的缓存中；

⑦昏黄雾天道路图像信息恢复后的结果在车载显示屏(13)上显示

按下车载显示屏(13)上的雾天道路信息恢复功能键，车载显示屏(13)同步显示缓存中最新的昏黄雾天道路图像信息恢复之后的视觉增强图像；

步骤四、构建雾天车道保持安全驾驶预警策略

①车道线中车辆位置检测模块(11)对雾天恢复后的道路图像进行车道线检测，获得车道线标识线参数，所述车道线标识线参数包括两车道线在图像坐标系的斜率和截距参数；

②利用车道线标识线参数和车辆内部安装的工业摄像机(3)的安装高度、靶面尺寸以及焦距，获得车辆在车道中的方向参数，所述方向参数为车辆偏离车道中心线的角度；

③将图像坐标系中车道宽度与实际世界坐标系中道路宽度建立比例系数关系，通过该比例系数和车辆在车道中的方向参数，实时获得当前车道宽度；

④利用三角几何关系，利用车道线标识线参数和车辆在车道中的方向参数，获得车辆在车道中的位置；

⑤获得的车辆在车道中的方向参数和车辆在车道中的位置满足车道偏离预警触发，则进行听觉预警和视觉预警，

车辆在车道中的方向参数满足预警触发，预警模块(12)发出“请减速，驾驶状况异常”的警告，并且报警灯设备(14)中红色报警灯闪烁；

车辆在车道中的横向位置满足车道偏离预警触发，预警模块(12)发出“请保持车距”的警告，并且报警灯设备(14)中黄色报警灯闪烁；

车辆在车道中的方向参数和车辆在车道中的横向位置均满足预警触发，预警模块(12)发出“嘟嘟声”并且报警灯设备(14)中红色和黄色报警灯闪烁；

车辆在车道中的方向参数和车辆在车道中的位置均不满足车道偏离预警，预警模块(12)发出“恢复正常”的无警告模式，报警灯设备(14)不闪烁。