[发明专利]一种基于注意力机制的金字塔网络的中草药识别方法

权利要求书

1.一种基于注意力机制的金字塔网络的中草药识别方法，其特征在于，所述方法包括以下步骤：

S1、采集中草药图片及标注图片的类别标签构建中草药数据集，制作中草药训练集与中草药测试集，分别对中草药训练集与中草药测试集进行预处理；

S2、构建基于通道注意力机制的特征融合结构块，同时引入竞争注意力模块；

S3、在基于通道注意力机制的特征融合结构块添加空间注意力机制，即添加空间协同注意力模块；

S4、构造基于注意力机制的金字塔网络，并用中草药训练集进行训练；

S5、将中草药测试集中的样本图片传入S4中训练好的基于注意力机制的金字塔网络，识别出该图片对应的中草药类别。

2.根据权利要求1所述的中草药识别方法，其特征在于，所述步骤S1中采集中草药图片的方式包括拍摄药材图片和网络爬虫；所述中草药数据集包括98种中草药图片，每一张中草药图片都标注一种类别的中草药标签。

3.根据权利要求1所述的中草药识别方法，其特征在于，所述中草药训练集的预处理方式为随机裁剪、缩放、随机翻转和归一化操作；所述中草药测试集的预处理方式为缩放、居中裁剪和归一化操作。

4.根据权利要求1所述的中草药识别方法，其特征在于，所述步骤S2的构建基于通道注意力机制的特征融合结构块是将不同层级的特征进行融合，并且在融合过程使用竞争注意力模块，让来自不同层级的特征融合的两条流进行自适应的竞争，得到不同层级特征的通道关系信息，具体如下：

2a)设置金字塔网络包含N层金字塔层，N为超参数；每层金字塔层包括两个路径，分别为自下而上路径(Bottom-up)和自上而下路径(Top-down)；所述自下而上路径包括α个卷积层，α为超参数；所述自上而下路径包含一个特征融合结构块；

定义第l层金字塔层的自上而下路径即Top-down路径上的特征经过上采样的输出为其中,H_l、W_l、C_d分别为第l层特征图的高、宽和通道数量，C_d为超参数，通常为常量，,N分别代表第l层金字塔层和金字塔层数，特征图作为金字塔网络的第l层金字塔层的特征融合结构块的一个输入之一；第l层金字塔层自下而上的路径即Bottom-up路径上的最后一个卷积层输出的特征经过侧向连接输出的一组特征图为作为金字塔网络的第l层金字塔层的特征融合结构块的另一输入；

2b)引入竞争注意力模块，所述竞争注意力模块是对特征进行挤压处理和激励处理。

5.根据权利要求4所述的中草药识别方法，其特征在于，所述挤压处理是将来自Top-down路径与Bottom-up路径的输入分别经过全局平均池化处理，具体为：

定义第l层金字塔层的Top-down路径上的上采样的输出其中为其第c通道的特征图,其中，共有C_d个通道；而第l层金字塔层的Bottom-up路径上的最后一个卷积层输出的特征经过侧向连接输出的一组特征图其中为其第c通道的特征图，共有C_d个通道，则全局平均池化操作为：

其中，分别是第l层金字塔层的Top-down路径和Bottom-up路径上输入的特征中第c个通道的描述符，F_sq(·)为全局平均池化操作，分别是第l层金字塔层的Top-down路径和Bottom-up路径上输入的特征中第c个通道的一张特征图，分别是第l层金字塔层的Top-down路径和Bottom-up路径上输入的特征中第c个通道的特征图在位置(i,j)上的值；

所述激励处理是用一个由两层全连接层组成的网络对这两条被池化过的信息流进行建模，从而得到第l层金字塔层融合特征的通道关系信息，建模方式如下：

其中，s_l为尺寸是1×1×2C_d的权重矩阵，即在两条信息流的融合过程中乘上该权重来调配这两条信息流，其中F_ex(·)为两层全连接层的前向传播操作，w_ex为两层全连接层的权重矩阵，为第l层金字塔层的特征融合结构块的竞争注意力模块生成的权重矩阵中第c个通道对应的权重。