[发明专利]一种用于PV缺陷检测的多目标跟踪方法

说明书

本发明公开了一种用于PV缺陷检测的多目标跟踪方法，先采用Mask R‑CNN网络进行目标检测操作，检测出视频帧图像中的待跟踪PV板并给每块PV板添加Mask；然后利用Kalman滤波算法对下一帧图像中PV板的位置进行预测和更新；最后使用匈牙利算法将检测的Mask位置与预测的Mask位置进行匹配，并为不同视频帧中的相同PV模块分配同一跟踪ID，得到多条长时间目标跟踪轨迹；本发明使用Mask R‑CNN作为多目标跟踪模块中的光伏板检测模块，该算法的网络特征提取能力强大，对外观相似的PV板实现高质量实例分割。对分割对象使用SORT算法进行多目标跟踪，跟踪中将PV模块的边界框大小和位置以及Mask掩膜进行运动估计和数据关联，保持了SORT跟踪算法的简洁性和跟踪速度。

技术领域

本发明涉及光伏缺陷检测技术领域，尤其涉及一种用于PV缺陷检测的多目标跟踪方法。

背景技术

随着经济全球化的快速发展，能源短缺和环境污染已成为世界关注的重要问题，各类新能源的深度开发与广泛使用得到世界各国密切关注。在国家政策支持和新技术不断涌现的背景下，太阳能发电技术作为重要的发电方式之一，以其耗能清洁、储能丰富、技术成熟的产业特点，在新能源领域占据了越来越重要的地位。太阳能电池普及应用使人们对太阳能电池表面的质量要求也越来越高。光伏(photovoltaic，PV)组件作为光伏发电系统的主要器件，其利用了硅晶半导体材料的光生伏特效应将太阳光照中蕴含的太阳能转化为电能，因此光伏组件的转换效率会受到太阳光辐照度和环境温度等外界因素的影响。一般情况下，光伏电池板长期暴露在外界环境，电池板经长期的风吹、雨打、霜冻等恶劣条件的侵蚀下，电池表面会出现积灰、玻璃破损、背板灼伤或异物遮挡等现象，电池内部会逐渐老化，造成光伏电池的部分损坏。

近年来，无人机技术和热成像技术发展迅速，大型光伏电站现场利用无人机搭载红外成像仪和可见光照相机巡航采集图像，并将数据传输给监控人员，以此发现光伏电池的异常情况，这大大提高了巡检的效率，降低了光伏电站的运维成本，同样也促进了图像处理技术在光伏板故障检测中的应用研究。光伏板故障的检测主要基于红外图像，红外图像能够反映电池片的工作状态，根据光伏板有无故障时的不同温度分布特征，可以有效判断识别光伏板故障。但红外图像噪声高、清晰度低的特点也给传统机器学习的特征提取带来难度；而过多的图像预处理方法会将一些有效特征连同噪声一起过滤掉，降低了热斑故障的判别能力；并且光伏组件运行过程中产生的故障种类繁多，但采集到的图像数据有限，同样给图像检测带来困难。

多目标跟踪(Multiple Object Tracking，MOT)是计算机视觉领域的一项关键技术，在自动驾驶、智能监控、行为识别等方向应用广泛。对于输入视频，输出目标的跟踪结果，包括目标包围框和对应的ID编号。理论上，同一个目标的ID编号保持不变。多目标跟踪中即要面对在单目标跟踪中存在的遮挡、变形、运动模糊、拥挤场景、快速运动、光照变化、尺度变化等挑战，还要面对如轨迹的初始化与终止、相似目标间的相互干扰等复杂问题。因此，多目标跟踪当前仍然是图像处理中的一个极具挑战性的方向，吸引了不少研究人员的长期投入。

光伏板缺陷检测中的多目标跟踪任务主要是跟踪数量较多的光伏板，光伏板场景的多目标跟踪不同于复杂的行人和车辆的多目标跟踪场景。无人机按既定轨道飞行，光伏板受物体遮挡情况基本不存在，而且每块光伏板的形状一样。所以考虑选择适当的目标检测和目标跟踪方案，可以提高光伏板缺陷检测场景下多目标跟踪的速度。

多目标跟踪算法根据初始化方法的不同可分为Detection-Based Tracking(DBT)和Detection-Free Tracking(DFT)，前者为基于检测的跟踪，即优先目标检测，再将检测结果与已存在的轨迹进行匹配链接。后者则需要在第一帧手动标记定量目标，在后续帧定位物体。DFT的跟踪模式仅能跟踪已标记目标，而DBT的跟踪模式可以自动发现新的目标，移除已消失的目标，更适应如今多目标跟踪算法的应用场景。基于检测的多目标跟踪流程如图1所示。