[发明专利]一种基于深度学习的高速公路路面病害三维信息检测系统

权利要求书

1.一种基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：该系统包括路面信息感知层、数据存储层和综合服务层；所述路面信息感知层负责采集路面点云图像、定位数据和道路前景数据，并传输给数据存储层；所述数据存储层接收路面信息感知层传输的数据，对其进行集中控制和数据共享后传输给综合服务层；所述综合服务层包括电子地图匹配模块、数据调用模块、深度学习模块和图像加载模块，所述电子地图匹配模块用于将采集到的定位数据实时显示在电子地图上，所述数据调用模块用于调取数据存储层的图像数据和系统数据，所述深度学习模块用于处理图像数据，所述图像加载模块用于将处理好的图像数据进行三维可视化并实现路面状态实时发布。

2.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述路面信息感知层中设置各类传感器、协同控制系统和路面三维信息高速采集模块，各类传感器采集到的数据传输经协同控制系统进行协同处理后传输给路面三维信息高速采集模块，所述各类传感器包括激光器-3D相机、GPS/北斗定位系统、路权相机和距离测量仪。

3.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述数据存储层将需要保存的数据存储在关系型数据库中，分别按照基础信息、图像信息、位置信息、用户信息、操作日志和系统功能进行存储。

4.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述电子地图匹配模块使用百度地图API进行二次开发，将采集到的定位数据实时显示在百度地图提供的在线电子地图上。

5.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述深度学习模块将路面点云图像分为有病害和无病害两类，使用训练好的PointNet++模型对输入的数据进行分类；在将数据输入PointNet++模型前需要将路面点云图像写进HDF5文件。

6.根据权利要求5所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述PointNet++模型会先对点云图像进行采样和划分区域，在各局部区域内通过PointNet网络进行特征提取，不断迭代后使用PointNet网络提取全局特征，最后通过全连接层得到每个类别评分；所述PointNet网络通过一系列串联的set abstraction，将点云中的点进行局部划分，提取局部的整体特征。

7.根据权利要求6所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述PointNet网络通过T-net将点云本身的位姿信息学习到一个最有利于网络进行分类的预测仿射变换矩阵，并将该变换直接应用于输入点的坐标，PointNet网络在训练阶段softmax损失中添加了一个正则化项，以约束预测仿射变换矩阵接近正交矩阵：

其中，L_reg为正则化项，A为预测仿射变换矩阵，I为单位矩阵。

8.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述图像加载模块基于Visual Studio2019平台、Qt界面应用程序开发框架、PCL编程库以及VTK可视化工具包来显示点云图像，并对点云图像进行包括旋转、平移、放大和缩小额操作。

9.根据权利要求1所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述深度学习模块将采集到的点云图像切分为8×8的网格状，再将切割后的每一小块路面点云使用VoxelNet进行滤波降采样。

10.根据权利要求9所述基于深度学习的高速公路路面病害三维信息检测系统，其特征在于：所述图像加载模块读取深度学习模块对每一小块路面点云的分类结果列表，根据读取结果给有病害的小块路面点云进行标记后合并，发布最终的路面状态信息。