[发明专利]一种基于区域信息融合的花粉图像分类方法及系统

权利要求书

1.一种基于区域信息融合的花粉图像分类方法，其特征在于，包括以下步骤：

获取花粉图像；

对花粉图像进行预处理，得到预处理图像；

对预处理图像进行全局特征提取，得到全局图像特征；

对预处理图像进行局部区域提取，得到局部区域图像；

对局部区域图像进行特征信息融合，得到特征信息融合的局部区域图像特征；

根据全局图像特征和特征信息融合的局部区域图像特征，对花粉图像进行分类，得到分类结果。

2.根据权利要求1所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，对花粉图像进行预处理，得到预处理图像，具体包括以下步骤：

对花粉图像进行图像分割和图像裁剪，得到预处理图像。

3.根据权利要求1所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，对预处理图像进行全局特征提取，得到全局图像特征，具体包括以下步骤：

将预处理图像输入到resnet50网络模型的卷积层中进行膨胀卷积处理，提取全局特征图；resnet50网络模型包括四组block，四组block分别依次包括3个block、4个block、6个block以及3个block，每个block里面有三个卷积层；

将全局特征图映射输入到resnet50网络模型的池化层和密集层中，提取得到全局图像特征。

4.根据权利要求1所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，对预处理图像进行局部区域提取，得到局部区域图像，具体包括以下步骤：

将预处理图像输入到Faster RCNN网络模型进行局部区域提取，得到局部区域图像。

5.根据权利要求4所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，将预处理图像输入到Faster RCNN网络模型进行局部区域提取，得到局部区域图像，具体包括以下步骤：

将预处理图像输入到特征提取网络中提取特征图feature maps；

通过区域候选网络RPN生成花粉图像重要区域的候选框anchors；再通过boundingboxregression修正候选框anchors，得到花粉图像候选框；

通过兴趣域池化RoI Pooling收集花粉图像候选框，并通过花粉图像候选框在特征图feature maps中进行局部区域提取，得到局部区域图像。

6.根据权利要求1所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，对局部区域图像进行特征信息融合，得到特征信息融合的局部区域图像特征，具体包括以下步骤：

对局部区域图像进行规范化处理，再经过主干网络resnet进行特征提取，得到特征向量；

将特征向量作为节点送入图卷积网络；

通过余弦相似性度量判断节点两两之间是否有相关性，若节点两两之间有相关性，则进行节点相连；从而构建出拉普拉斯矩阵；

根据拉普拉斯矩阵进行邻居节点的聚合，得到带有邻居节点信息的特征向量；将带有邻居节点信息的特征向量作为特征信息融合的局部区域图像特征。

7.根据权利要求6所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，进行邻居节点的聚合的图卷积特征变换公式为：

其中：H^l+1为第L+1层图卷积得到的带有邻居节点信息的特征向量；σ是非线性激活函数；是节点对应的邻接矩阵加上一个单位阵；是节点对应的度矩阵；是经过归一化的对称的邻接矩阵；H^(l)是第L层图卷积得到的带有邻居节点信息的特征向量；W^(l)为第L层图卷积的权重。

8.根据权利要求1所述的一种基于区域信息融合的花粉图像分类方法，其特征在于，根据全局图像特征和特征信息融合的局部区域图像特征，对花粉图像进行分类，得到分类结果，具体包括以下步骤：

将全局图像特征和特征信息融合的局部区域图像特征进行连接，得到联合特征；

通过分类器识别联合特征，得到分类结果。