[发明专利]基于夜间环境感知的道路信息增强与驾驶预警方法

权利要求书

1.基于夜间环境感知的道路信息增强与驾驶预警方法，其特征在于，包括如下步骤：

步骤一、获取实时图像，建立夜间图像分类器并进行实时图像分类，得到有路灯夜间道路图像和全黑夜间道路图像；

步骤二、建立基于单尺度Retinex方法的全黑道路信息增强模型，对全黑夜间道路图像进行增强处理，将全黑夜间道路图像增强前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，得出图像所有行灰度变化率的均值，该均值小于等于阈值，则再次进行全黑夜间道路图像增强过程；该均值超过给定阈值，则完成全黑夜间道路图像增强质量评价，得到增强后的清晰全黑夜间道路图像；

步骤三、建立基于McCann99 Retinex方法的夜间有路灯图像增强模型，对有路灯夜间道路图像进行增强处理，将有路灯夜间道路图像增强前后同一内容的图像对比，以每一行灰度值连续上升间隔像素点数最多的边缘灰度变化率代表这一行的灰度变化率，得出图像所有行灰度变化率的均值，该均值小于等于阈值，则再次进行有路灯夜间道路图像增强过程；该均值超过给定阈值，则完成有路灯夜间道路图像增强质量评价，得到增强后的清晰有路灯夜间道路图像；

步骤四、构建夜间前方、侧方车辆检测安全驾驶预警策略，从而实现安全驾驶预警；

具体过程如下：

①对于夜间增强后的道路图像，首先将增强后的道路图像进行候选区域的提取，得到矩形目标候选区域数据库图像；

②利用深度学习中的卷积神经网络RCNN网络结构模型进行预训练，具体输入层为矩形目标候选区域数据库图像，利用图像特征提取的特征提取层，提取候选区域的视觉特征，所述视觉特征包括边缘、角点、纹理及颜色构成特征图，在特征图上进行检测分类，实现预训练；

③利用支持向量机SVM进行实时分类，输入层为候选区域经过卷积神经网络RCNN网络结构模型所输出的特征图特征，输出层输出目标的分类类别，检测是否属于前方、侧方车辆以及预测框位置信息；所述预测框位置信息是指检测出图像中前方、侧方车辆的矩形框在图像坐标系的四个角的坐标信息；

④当检测出本车前方、侧方出现车辆，则向驾驶员发出警告。

2.根据权利要求1所述的基于夜间环境感知的道路信息增强与驾驶预警方法，其特征在于：步骤一中，建立夜间图像分类器并进行实时图像分类的过程如下：

Ⅰ建立夜间道路图像神经网络分类器

①工业摄像机采集N张夜间道路图像和非夜间道路图像，并将采集到的图像传输到夜间图像分类模块，其中包括N1张夜间道路图像和N2张非夜间道路图像，N、N1、N2均为自然数，在夜间图像分类模块中建立夜间图像分类器的图像训练库；

②通过夜间图像分类器的图像训练库离线训练概率神经网络分类器，概率神经网络分类器根据提取的夜间图像纹理、颜色、边缘特征，对夜间道路图像和非夜间道路图像分类，并获得夜间图像特征，夜间道路图像神经网络分类器建立完成；

Ⅱ建立不同夜间亮度图像分类器

①工业摄像机采集M张不同夜间能见度的道路图像，其中包括M1张有路灯夜间道路图像和M2张全黑夜间道路图像，M、M1、M2均为自然数，在不同夜间能见度图像分类模块中建立不同夜间能见度图像分类器的图像训练库；

②通过不同夜间能见度图像分类器的图像训练库离线训练高斯混合模型GMM分类器，高斯混合模型GMM分类器根据平均梯度特征，对比度特征及边缘强度特征，提取不同夜间能见度图像的平均梯度特征，对比度值及边缘强度值，并根据平均梯度特征，对比度值及边缘强度值对有路灯夜间图像和全黑夜间图像进行分类，不同夜间能见度图像高斯混合模型GMM分类器建立完成；

③通过不同夜间能见度图像分类器的图像训练库离线训练支持向量机SVM分类器，支持向量机SVM分类器根据HSV颜色空间的明度特征、图像功率频谱图幅值特征，对有路灯夜间图像和全黑夜间图像进行分类，并提取不同夜间能见度图像的图像HSV颜色空间的明度值、图像功率频谱图幅值特征，不同夜间能见度图像支持向量机SVM分类器建立完成；

将不同夜间能见度图像高斯混合模型GMM分类器分类出的有路灯夜间图像与不同夜间能见度图像支持向量机SVM分类器分类出的有路灯夜间图像取并集，将不同夜间能见度图像高斯混合模型GMM分类器分类出的全黑夜间图像与不同夜间能见度图像支持向量机SVM分类器分类出的全黑夜间图像取并集，分别得到有路灯夜间道路图像和全黑夜间道路图像样本库；

Ⅲ实时图像分类

①工业摄像机采集实时图像；

②利用夜间道路图像神经网络分类器分类，得到夜间道路图像；

③利用不同夜间能见度图像高斯混合模型GMM分类器和不同夜间能见度图像支持向量机SVM分类器分别对处理后的夜间道路图像进行有路灯夜间图像和全黑夜间图像分类，并将不同夜间能见度图像高斯混合模型GMM分类器分类出的有路灯夜间图像与不同夜间能见度图像支持向量机SVM分类器分类出的有路灯夜间图像取并集，将不同夜间能见度图像高斯混合模型GMM分类器分类出的全黑夜间图像与不同夜间能见度图像支持向量机SVM分类器分类出的全黑夜间图像取并集，分别得到有路灯夜间道路图像和全黑夜间道路图像；

IV制定置信度评价标准

置信度评价标准采用基于L2范数的相对错误评价标准，基于L2范数的相对错误评价标准是将得到的实时有路灯夜间道路图像与有路灯夜间图像样本库中有路灯夜间道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，可判断当时图像为有路灯夜间道路图像；

同理，置信度评价标准采用基于L2范数的相对错误评价标准，基于L2范数的相对错误评价标准是将得到的实时全黑夜间道路图像与全黑夜间图像样本库中全黑夜间道路图像样本的对应像素值相减，并对所得的差值求平方和，然后再对结果求平方根；用得到的平方根值除以图像像素总数，得到平均误差值；取阈值为0.5，平均误差值小于0.5，可判断当时图像为全黑夜间道路图像。