[发明专利]一种基于多目多光谱融合的道路智能监控系统

说明书

本发明公开了一种基于多目多光谱融合的道路智能监控系统，包括：融合相机，包括多个成像通道和图像融合处理器；所述多个成像通道，用于获取多个光谱的道路图像；所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。结合多光谱融合图像和双目立体视觉以及基于神经网络的智能识别技术，能够全天时实现对道路目标三维轮廓、距离、速度、车型、车牌和车身记录。

技术领域

本发明涉及道路监控，尤其涉及一种基于多目多光谱融合的道路智能监控系统。

背景技术

道路监控常用可见光摄像头和毫米波测距测速雷达或者复合使用，可见光摄像头获取道路目标可见光图像、车牌号码等，毫米波测距测速雷达获取道路目标距离、速度等。为了进一步获取道路目标精细三维轮廓信息，激光雷达技术也开始逐渐应用于道路监控。

但在实际道路监控应用中，毫米波测距测速雷达无法精细测量道路目标的三维轮廓，而可见光摄像头存在夜视能力差和雨雾恶劣天气适应能力差等问题。新兴的激光雷达技术虽能够精确获得目标的三维轮廓信息，但仍存在恶劣天气适应能力差、价格昂贵、运动部件导致使用寿命短等问题。所以需要开发低成本、全天时、长寿命和良好恶劣天气适应力的道路监控设备，能够同时覆盖道路目标测距、测速、目标纹理、三维轮廓以及车牌识别等功能。

发明内容

鉴于目前存在的上述不足，本发明提供一种基于多目多光谱融合的道路智能监控系统，结合多光谱融合图像和双目立体视觉以及基于神经网络的智能识别技术，能够全天时实现对道路目标三维轮廓、距离、速度、车型、车牌和车身记录。

为达到上述目的，本发明的实施例采用如下技术方案：

一种基于多目多光谱融合的道路智能监控系统，包括：

融合相机，包括多个成像通道和图像融合处理器；

所述多个成像通道，用于获取多个光谱的道路图像；

所述图像融合处理器，用于将获取的多个光谱的道路图像进行图像融合；

综合处理单元，与图像融合处理器相连，用于通过执行算法对融合后的道路图像进行处理，并输出道路识别结果和标注；

应用系统，与综合处理单元相连，用于根据道路识别结果和标注进行道路监控。

依照本发明的一个方面，所述多个成像通道包括热红外成像传感器和微光或短波成像传感器。

依照本发明的一个方面，所述热红外成像传感器获取道路目标热红外图像，表征不同物体的温度场分布情况；所述微光或短波成像传感器获取道路短波红外图像或可见微光图像。

依照本发明的一个方面，所述图像融合处理器对道路目标热红外图像进行去噪增强以及畸变校正，对道路短波红外图像或可见微光图像进行ISP预处理。

依照本发明的一个方面，所述图像融合处理器对处理后的道路目标热红外图像以及道路短波红外图像或可见微光图像进行匹配融合生成多目双色融合图像。

依照本发明的一个方面，所述综合处理单元基于多目双色融合图像进行多目立体视觉处理，生产深度图像，并将深度图像转换为三维点云图像。

依照本发明的一个方面，所述综合处理单元基于多目双色融合图像执行分辨率提升算法生成超分辨率双色融合图像。

依照本发明的一个方面，所述综合处理单元综合超分辨率双色融合图像和三维点云图像执行多目立体视觉算法实现高可靠性道路目标智能识别、分类和测量；执行超分辨双色融合图像语义分割算法，保留道路和道路相关目标信息，剔除无关要素，将目标智能识别和测量结果标注于超分辨双色融合图像中进行输出。