[发明专利]基于无人机及机器视觉的风电结构健康监测系统及方法

权利要求书

1.基于无人机及机器视觉的风电结构健康监测系统，其特征在于：其结构由无人机采集装置(1)，图像采集与稳像子系统(2)，模型训练与内嵌子系统(3)，整体结构评估子系统(4)，紧急事故与预警子系统(5)组成；无人机采集装置(1)由无人机(11)，摄像头(12)和树莓派主板(13)组成，与图像采集与稳像子系统(2)协调配合对风力机整体结构进行图像信息采集，与模型训练与内嵌子系统(3)协调配合实时处理拍摄数据；图像采集与稳像子系统(2)，由无人机位姿确认模块(21)控制无人机飞行至规定位置并确定位姿，由相机标定与校准模块(22)进行摄像头(12)的标定及校准工作，由分段监测模块(23)和巡航路线规划模块(24)对无人机检测路线进行按需规划，由图像采集与检测模块(25)检测所采集图像质量是否可用，对不可用的图像信息则重新进行采集；模型训练与内嵌子系统(3)，由深度学习跟踪与分割模块(31)对所采集到的图像信息进行目标跟踪与语义分割的学习步骤，由模型训练及验证模块(32)进行数据集扩充与模型训练，将训练好的深度学习网络参数嵌入树莓派内嵌程序模块(33)，由无人机位移补偿(34)模块消除无人机抖动对检测结果的影响，由图像拼接模块(35)对图像进行整合，由响应计算模块(36)和损伤结合计算模块(37)具体计算出结构的响应与损伤；整体结构评估子系统(4)由对比结构特性模块(41)，判断安全运行模块(42)，异常数据保存模块(43)，整体故障诊断模块(44)，数据整合模块(45)，整体损伤程度判断模块(46)组成，用于评估风力机结构是否可以安全运行、储存异常数据并判断整体损伤程度；紧急事故预警子系统(5)由继续运行判断模块(51)，预警报备模块(52)，事故信息上传模块(53)，在线系统通知模块(54)，风力机维修模块(55)组成，用于风力机不可继续运行时及时预警通知维修风力机结构。

2.采用权利要求1所述的基于无人机及机器视觉的风电结构健康监测系统的监测方法，其特征在于，其步骤为：

步骤(1)无人机飞行至规定位置后由图像采集与稳像子系统确定位姿并进行相机标定及校准，再通过分段监测方式对巡航路线进行规划，最后在巡航路线中获取图像并对所采集的图像质量进行检测；

步骤(2)由模型训练与内嵌子系统对获取的图像进行深度学习方法下的目标跟踪与语义分割的学习步骤，再进行数据集扩充及模型训练，将训练好的深度学习网络参数返回内嵌至树莓派，最后将监测图像通过无人机位移补偿与图像拼接得到结构响应并计算风力机结构动力特性与表面缺陷；

步骤(3)由整体结构评估子系统将监测所得的动力特性与表面缺陷做相关计算后对比整体结构特性判断风力机是否能够继续安全运行，若可以安全运行则继续按规定间隔周期进行监测，若无法安全运行则保存异常数据及视频信息进行故障诊断，最后进行数据整合对整体结构损伤程度进行判定；

步骤(4)由紧急事故预警子系统在损伤判定无法继续运行时对客户端预警并上传事故信息给出维修建议，最后线上通知管理员进行风力机维修。

3.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法，其特征在于由终端通过无人机搭载的树莓派来控制无人机进行图像信息的采集工作，并将采集到的图像通过已提前内嵌深度学习网络参数的树莓派进行数据预处理，后实时传输数据至终端进行后续计算。

4.根据权利要求2所述的基于无人机及机器视觉的风电结构健康监测方法，其特征在于所述的深度学习网络参数获取方法为：

将采集到的图像通过稀疏点云与密集点云的方法重构建立实体三维模型，之后在不同环境下导出不同监测位置的局部图像，来模拟不同条件下的工况，从而进行数据集扩充，再使用扩充后的数据集进行视觉跟踪算法YOLO深度学习的模型训练，最后将训练好的模型参数内嵌置树莓派主板内。