[发明专利]一种用于PV缺陷检测的多目标跟踪方法

权利要求书

1.一种用于PV缺陷检测的多目标跟踪方法，其特征在于，先采用Mask R-CNN网络进行目标检测操作，检测出视频帧图像中的待跟踪PV板并给每块PV板添加Mask；然后利用Kalman滤波算法对下一帧图像中PV板的位置进行预测和更新；最后使用匈牙利算法将检测的Mask位置与预测的Mask位置进行匹配，并为不同视频帧中的相同PV模块分配同一跟踪ID，得到多条长时间目标跟踪轨迹；所述Mask R-CNN网络包括Faster R-CNN和掩膜分支两部分，其中，Faster R-CNN的RoIpooling层被修改为RoIAlign层，掩膜分支是一个全卷积网络，用于提取RoI分类器选择的正区域作为输入并为其生成掩膜。

2.根据权利要求1所述的用于PV缺陷检测的多目标跟踪方法，其特征在于，所述MaskR-CNN网络的主干网络是ResNet-50/101+FPN的网络结构，该结构采用一个自底向上的线路，通过ResNet中的第2层到第5层特征图，构建FPN特征金字塔网络。

3.根据权利要求1所述的用于PV缺陷检测的多目标跟踪方法，其特征在于，所述MaskR-CNN网络的流程如下：

①将设备的原始红外图片进行预处理；

②通过特征提取网络得到特征图；

③设定固定个数的候选框，然后送入区域生成网络进行二分类以及坐标回归，获得精炼后的RoI区域；

④获得的RoI区域执行RoIAlign操作，将特征图和固定的特征对应起来；

⑤最后对RoI区域进行多类别分类和候选框回归，引入掩膜分支生成掩膜，完成分割任务。

4.根据权利要求1所述的用于PV缺陷检测的多目标跟踪方法，其特征在于，RoIAlign层采用双线性插值法预估浮点坐标中心的像素值的公式为：

式中(x₁，y₁)，(x₁，y₂)，(x₂，y₁)，(x₂，y₂)为相邻4个像素点的坐标。

5.根据权利要求1所述的用于PV缺陷检测的多目标跟踪方法，其特征在于，掩膜分支提取RoI分类器选择的正区域作为输入，其后经过一个逆卷积层进行反向传播，不同尺度的目标按照规则选择不同尺度的特征图，最终将掩膜信息放置原图，生成它们的掩膜。

6.根据权利要求1所述的用于PV缺陷检测的多目标跟踪方法，其特征在于，Mask R-CNN网络训练时采用多任务损失函数的和作为最终的损失函数，其计算公式为：

L＝L_Rcls+L_Rreg+L_Fcls+L_Freg+L_mask (2)

式中：L_Rcls为RPN网络分类损失；L_Rreg为RPN网络回归损失；L_Fcls为目标分类分支损失；L_Freg为目标回归分支损失；L_mask为目标掩膜分支损失。