[发明专利]基于多模态融合的光伏电池热斑检测及评估方法与装置

权利要求书

1.一种基于多模态融合的光伏电池热斑检测及评估方法，其特征在于，包括以下步骤：

获取光伏热斑的红外图像数据和标签数据；

对所述红外图像数据和标签数据进行处理得到图像数据集；

将所述图像数据集输入至训练好的语义分割网络模型得到分割图像；

对所述分割图像的热斑面积进行特征提取得到热斑占比数据，基于所述热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。

2.根据权利要求1所述的方法，其特征在于，在所述对红外图像数据和标签数据进行处理得到图像数据集之前，所述方法，还包括：

利用高斯模糊化和高斯高通滤波对所述红外图像数据和标签数据进行数据增强操作得到增广数据集。

3.根据权利要求2所述的方法，其特征在于，所述将图像数据集输入至训练好的语义分割网络模型得到分割图像之前，所述方法，还包括训练语义分割网络模型，包括：

构建UNet语义分割网络；其中，所述UNet语义分割网络，包括注意力机制模块、主干特征提取网络和加强特征提取网络，所述主干特征提取网络包括迁移VGG网络；

将所述图像数据集的训练样本集输入至所述迁移VGG网络，并通过所述注意力机制模块提取初始图像特征，利用所述加强特征提取网络提取所述初始图像特征的最终图像特征；

融合所述初始图像特征和所述最终图像特征，根据特征融合结果得到分割图像样本集并利用所述分割图像样本集训练语义分割网络模型得到训练好的语义分割网络模型。

4.根据权利要求3所述的方法，其特征在于，通过逐步上采样将所述加强特征提取网络与所述主干特征提取网络的有效特征层进行堆叠融合操作得到所述特征融合结果。

5.根据权利要求3所述的方法，其特征在于，所述主干特征提取网络采用预训练网络，所述加强特征提取网络的最后两层卷积为空洞卷积。

6.一种基于多模态融合的光伏电池热斑检测及评估装置，其特征在于，包括：

数据获取模块，用于获取光伏热斑的红外图像数据和标签数据；

数据处理模块，用于对所述红外图像数据和标签数据进行处理得到图像数据集；

图像分割模块，用于将所述图像数据集输入至训练好的语义分割网络模型得到分割图像；

检测评估模块，用于对所述分割图像的热斑面积进行特征提取得到热斑占比数据，基于所述热斑占比数据和光伏系统的电气数据进行多模态融合的光伏系统状态量化评估，以得到热斑位置检测结果和状态评估结果。

7.根据权利要求6所述的装置，其特征在于，所述数据处理模块之前，还包括预处理模块，用于：

利用高斯模糊化和高斯高通滤波对所述红外图像数据和标签数据进行数据增强操作得到增广数据集。

8.根据权利要求7所述的装置，其特征在于，所述图像分割模块之前，还包括模型训练模块，用于：

构建UNet语义分割网络；其中，所述UNet语义分割网络，包括注意力机制模块、主干特征提取网络和加强特征提取网络，所述主干特征提取网络包括迁移VGG网络；

将所述图像数据集的训练样本集输入至所述迁移VGG网络，并通过所述注意力机制模块提取初始图像特征，利用所述加强特征提取网络提取所述初始图像特征的最终图像特征；

融合所述初始图像特征和所述最终图像特征，根据特征融合结果得到分割图像样本集并利用所述分割图像样本集训练语义分割网络模型得到训练好的语义分割网络模型。

9.根据权利要求8所述的装置，其特征在于，通过逐步上采样将所述加强特征提取网络与所述主干特征提取网络的有效特征层进行堆叠融合操作得到所述特征融合结果。

10.根据权利要求8所述的装置，其特征在于，所述主干特征提取网络采用预训练网络，所述加强特征提取网络的最后两层卷积为空洞卷积。