[发明专利]基于车载环视的路面坑塘检测系统及方法

说明书

本发明揭示了一种基于车载环视的路面坑塘检测系统及方法，所述路面坑塘检测系统包括：图像采集模块，用以获取视频流数据；矫正模块，用以对所述图像采集模块获取的图像进行畸变矫正；鸟瞰拼接模块，用以对经过所述矫正模块矫正的图像进行融合拼接；深度特征提取模块，用以基于深度神经网络对不同路况下坑塘目标信息的量化和习得特征抽取；病害分析模块，用以基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，获取图像中潜在的坑塘位置及坑塘目标区域的大小。本发明可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。

技术领域

本发明属于道路检测技术领域，涉及一种坑塘检测方法，尤其涉及一种基于车载环视的路面坑塘检测系统及方法。

背景技术

传统的道路养护单位在日常工作中，会配备专门的巡检车辆，通常两人一组，完成对道路的巡检，记录道路的坑塘情况，判断是否需要维修。但是由于人员检测的不确定性以及对检测后内容的可视化、数字化以及可追溯性的不可实现，会导致工作效率的低下。为了更有效、更完整记录路面信息，需要实现对路面信息的数字化、可视化、智能化。从而提升在路面病害，特别是坑塘检测方面的工作效率。

目前已有的基于计算机视觉的路面病害检验方法和系统，不仅效率低下，每次巡检只能检查最多一根车道，而且对于路面病害的自动检测方法主要基于传统的图像处理方法，精度和稳定性都远远达不到实战应用水平。严重阻碍了AI+时代路面养护信息数字化、可视化、智能化的发展。

有鉴于此，如今迫切需要设计一种新的路面病害检验方式，以便克服现有路面病害检验方式存在的上述至少部分缺陷。

发明内容

本发明提供一种基于车载环视的路面坑塘检测系统及方法，可实现在复杂路面及光照环境下快速准确的对路面坑塘病害进行检测。

为解决上述技术问题，根据本发明的一个方面，采用如下技术方案：

一种基于车载环视的路面坑塘检测系统，其特征在于，所述路面坑塘检测系统包括：

图像采集模块，用以采集并同步四路鱼眼相机所得视频流数据；为每一路车载鱼眼图像数据的处理分配独立的线程，并将其中的采集和存储进行区分，通过两个线程独立控制，基于信号量与互斥锁同步采集线程和存储线程，实现多路鱼眼图像数据采集的间隔时间最小化，满足所述路面坑塘检测系统的高车速下运行的需求；

鱼眼矫正模块，用以利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1；

鸟瞰拼接模块，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像；根据原始鱼眼图像的最高分辨率，相应拼接后的路面图像实际成像范围可达自车前后左右3～5m；

深度特征提取模块，基于深度神经网络通过千万级标注后的路面坑塘图像样本的迭代回归学习，实现对不同路况下坑塘目标信息的量化和习得特征抽取；选用Inceptionv3作为提取坑塘目标深度特征的卷积神经网络的主干，通过对卷积的分解来进一步降低计算量；