[发明专利]一种高速铁路全自动无人机巡检方法及系统在审
申请号: | 202111627107.5 | 申请日: | 2021-12-28 |
公开(公告)号: | CN114373138A | 公开(公告)日: | 2022-04-19 |
发明(设计)人: | 秦勇;王志鹏;陈平;崔京;牟宗涵;于重重;仇宁海 | 申请(专利权)人: | 北京交通大学 |
主分类号: | G06V20/17 | 分类号: | G06V20/17;G06V10/82;G06V10/764;G01C11/04;G01N21/88;G06N3/08;G06T7/00;G06T7/73 |
代理公司: | 北京德崇智捷知识产权代理有限公司 11467 | 代理人: | 黄雪 |
地址: | 100044*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 高速铁路 全自动 无人机 巡检 方法 系统 | ||
1.一种高速铁路全自动无人机巡检方法,其特征在于,步骤包括:
第一步,通过链路系统接收无人机上传的工作状态及实时回传画面,在无人机首次在任务区域飞行时,接收无人机上激光雷达模块所获得的点云数据建立三维点云模型,规划无人机飞行线路,并配置无人机地面基站;
第二步,实时监控无人机的工作状态和航行数据,在无人机到达任务区域后,触发无人机上图像采集模块按照预选设定的方式进行图像采集,并触发无人机将拍摄所得图像与拍摄实时地理位置信息一并保存并通过地面基站传输至工作机;
第三步,工作机内部的深度学习网络模型对拍摄所得图像进行缺陷检测识别,将缺陷预警检测结果发送人工复检,并在接收到人工确认的缺陷部分由后上传缺陷问题及缺陷图像所对应的实时地理位置信息,通知运维人员并记录运维状态;
上述巡检过程中,当检测到无人机电量低于电量阈值时,还触发无人机飞抵基站,与基站进行电池更换以及图像数据的转储。
2.如权利要求1所述的高速铁路全自动无人机巡检方法,其特征在于,第一步中,接收无人机上激光雷达模块所获得的点云数据建立三维点云模型的具体步骤包括将激光雷达模块所获得的点云数据与无人机所采集的图像之间按照以下步骤进行融合:
首先分别基于统计的离群点去除算法、基于最近距离的冗余点去除算法、基于布料模拟滤波地面点滤除算法对三维点云数据做预处理;
然后基于随机采样、特征聚合与原型拟合对大尺度点云数据层进行语义分割;
再通过空间位置匹配方法根据欧几里得距离进行点云聚类,获得与潜在异常对象点云对应的图像数据;
最后通过基于迁移学习及数据增强的图像实例分割方法对图像数据进行处理,获得对潜在异常对象类别的准确判断:
对于被点云数据判断为建筑的对象,进一步根据图像数据的识别结果计算其中彩钢板顶棚建筑和砖石房屋两类对象距铁路的距离;
对于被点云数据识别为垃圾堆积的对象,进一步根据图像数据的识别结果计算其中垃圾堆积类对象的体积及及其距离铁路的距离。
3.如权利要求2所述的高速铁路全自动无人机巡检方法,其特征在于,所述第三步中,工作机内部的深度学习网络模型包括:目标检测类网络模型YOLOv3、SSD、FasterRCNN、FPN;
语义分割网络模型包括:YOLACT、Deeplabv3+;
所述深度学习网络模型由以下训练步骤确认其参数:
先对采集得到的铁路沿线设备设施及周边环境的图像进行图像预处理,包括对比度调整、图像去雾、减小光影影响,标注上述图像中的异常对象建立数据库;
然后针对每次巡检得到的数据,将新采集得到的图像利用深度学习网络模型进行自动标注,然后人工检测标注信息,确认有问题的图像,计算图像标注问题所在位置,对数据库进行更新,输入验证集数据验证模型训练效果,并根据效果实时调整参数,忽略本次训练模型,利用上次得到的权重重新开始训练,直至达到最优化结果,记录权重用于新的图像检测。
4.如权利要求3所述的高速铁路全自动无人机巡检方法,其特征在于,人工检测标注信息时还将本次新得到的数据进行图片旋转、图片缩放、图片分辨率调节、添加噪音的预处理,实现数据扩充;将扩充后的数据加入到训练验证数据库中,并同时对其中的缺陷进行人工标注,生成包含有图片名称、缺陷类别、缺陷坐标的数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京交通大学,未经北京交通大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111627107.5/1.html,转载请声明来源钻瓜专利网。