[发明专利]基于车载环视的路面坑塘检测系统及方法

权利要求书

1.一种基于车载环视的路面坑塘检测系统，其特征在于，所述路面坑塘检测系统包括：

图像采集模块，用以采集并同步四路鱼眼相机所得视频流数据；为每一路车载鱼眼图像数据的处理分配独立的线程，并将其中的采集和存储进行区分，通过两个线程独立控制，基于信号量与互斥锁同步采集线程和存储线程，实现多路鱼眼图像数据采集的间隔时间最小化，满足所述路面坑塘检测系统的高车速下运行的需求；

鱼眼矫正模块，用以利用相机标定所得的鱼眼镜头内参，对鱼眼图像进行畸变矫正；利用棋盘格标定板通过对待标定的鱼眼相机在不同角度拍摄的棋盘格图像进行角点提取，最小化重投影误差，拟合鱼眼相机畸变方程系数，即得到鱼眼相机内参；将所得内参转化为从鱼眼图像到线性平面图像映射的第一查找表LUT1；

鸟瞰拼接模块，利用相机标定所得鱼眼镜头外参，对四幅矫正后的鱼眼图像进行融合拼接，得到360°环视俯瞰角度的路面图像；利用外参标定板，提取标定板上特征物的角点信息，对多相机特征投影误差函数进行优化及校验，得到相机与相机之间的位姿关系以及车辆与环视相机系统的位姿关系，即外参，最终完成对固定在车辆前后左右的四颗鱼眼相机的位姿标定；为加速360°鸟瞰环视图像的拼接进程，节省计算资源开销，将外参转化为从鱼眼矫正模块所得的矫正图像到鸟瞰图像映射的第二查找表LUT2；最后通过无缝拼接、亮度平衡处理，得到360°鸟瞰环视路面图像；根据原始鱼眼图像的最高分辨率，相应拼接后的路面图像实际成像范围可达自车前后左右3～5m；

深度特征提取模块，基于深度神经网络通过千万级标注后的路面坑塘图像样本的迭代回归学习，实现对不同路况下坑塘目标信息的量化和习得特征抽取；选用Inception v3作为提取坑塘目标深度特征的卷积神经网络的主干，通过对卷积的分解来进一步降低计算量；

病害分析模块，基于特征抽取和量化，通过深度神经网络对输入的路面鸟瞰环视图像进行预测，框出图像中潜在的坑塘位置，并通过鸟瞰拼接模块中的坐标系转换算法，估算出图像中潜在坑塘目标区域的大小；采用YOLO v3作为坑塘目标检测的整体网络框架，将深度特征提取模块中的Inception v3作为深度特征提取器；YOLO v3将输入的待检测360°鸟瞰环视路面图像分成SxS个网格，通过对每个网格中图像深度特征的分类，回归预测B个边框，将每个网格的分类信息和每个边框的预测置信度相乘，得到每个边框最终属于某个类别的概率以及边框在图像中位置的准确度；随后通过设置适当阈值，过滤掉概率小于设定阈值、准确度低于设定阈值的边框，对剩下的边框进行非极大值抑制，得到最终的坑塘目标检测边框；最后，结合鸟瞰拼接模块中得到的外参和第二查找表LUT2，将检测边框在360°鸟瞰环视路面图像中二维坐标转化为车辆坐标系中的三维坐标，最终得到坑塘在实际路面中的位置和大小；

所述鱼眼矫正模块用以利用多张棋盘格鱼眼图像，在已知棋盘格方格尺寸的前提下，通过角点特征提取，确定鱼眼图像中每个方格顶点的位置，建立关于下列多项式函数的超定非线性方程组，通过求其最小二乘解，得到鱼眼相机内参a₀，a₁，a₂，...，a_N

f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴+...

其中u、v分别为像素点在传感器平面的坐标；

在求解上述鱼眼相机内参的过程中，得到无畸变传感器平面图像(u,v)和畸变图像(u',v')的放射变换关系：

根据上述放射变换关系，为了加速鱼眼矫正模块的运算速度，建立畸变鱼眼图像到无畸变线性平面图像映射的第一查找表LUT1；

所述鸟瞰拼接模块，用以根据广角相机模型，f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面；基于投影矩阵P，建立矫正图像与鸟瞰图像转换关系的第二查找表LUT2；

所述无缝拼接采用图像融合方法，该方法基于像素值的加权平均平滑转换；

设定图像I₁(x,y)和图像I₂(x,y)是需要无缝拼接的两幅相邻平面图像，(x,y)是像素坐标；融合后的图像像素值为：

其中，α是权重系数，由下面公式计算：

其中，r和c分别代表两幅拼接图像重叠区域的长和宽；k是增益；

所述亮度平衡是指环视系统中，所拼接的环视图像来源于四个独立相机成像，亮度曝光不尽相同；需要利用增益补偿算法来最小化全局亮度差异，使得环视拼接图像亮度一致；

对于一个图像序列S₁、S₂、S₃、S₄,假设S_i-1和S_i是两幅相邻的平面图像，在它们的重叠区域，计算图像S_i的校正系数：

其中，C_c,j(p)是像素点p在色彩通道c的伽马矫正后的颜色值；

三维二维坐标转化方式为：f(u,v)＝PX；其中，f(u,v)即为上述多项式函数f(ρ)＝a₀+a₁ρ+a₂ρ²+a₃ρ³+a₄ρ⁴+...，P是投影矩阵，将三维世界中的点X投影到二维图像平面。