[发明专利]基于注意力的图像识别方法、系统、电子设备及存储介质

权利要求书

1.一种基于注意力的图像识别方法，其特征在于，所述方法通过训练得到的注意力双线性池化网络模型实现，所述注意力双线性池化网络模型包括并行设置的空间注意力模块和通道注意力模块，所述方法包括：

获取待识别图像的全局特征；

基于所述通道注意力模块获取所述待识别图像的通道特征；

基于所述空间注意力模块获取所述待识别图像的空间特征；

通过双线性池化操作对所述通道特征和所述空间特征进行特征融合得到融合后的局部特征；

基于所述全局特征与所述局部特征对所述待识别图像进行识别；

其中，在训练所述注意力双线性池化网络模型时，采用交叉熵损失函数对所述融合后的局部特征进行预测，基于预测合格的所述融合后的局部特征与所述全局特征进行样本图像的识别，并采用交叉熵损失函数对所述注意力双线性池化网络模型的识别结果进行预测；

其中，基于所述通道注意力模块获取待识别图像的通道特征，具体包括：

获取所述待识别图像的特征图并对所述特征图进行全局平局池化得到单位通道特征；

将所述单位通道特征输入第一全连接层后通过第一预设激活函数进行第一次激活；

将所述第一次激活后的结果输入第二全连接层后通过第二预设激活函数进行第二次激活得到通道注意力权值，所述第二全连接层不再起降维作用；

将所述通道注意力权值与所述特征图相乘得到所述通道特征。

2.根据权利要求1所述的图像识别方法，其特征在于，基于所述空间注意力模块获取所述待识别图像的空间特征，具体包括：

获取所述待识别图像的特征图并对所述特征图分别进行全局平局池化和全局最大池化，并将两次池化结果沿着通道方向进行拼接；

将所述拼接后的结果进行卷积处理后通过第三预设激活函数得到空间注意力权值；

将所述空间注意力权值与所述特征图相乘得到所述空间特征。

3.根据权利要求1所述的图像识别方法，其特征在于，获取待识别图像的全局特征之前，所述方法还包括：

对所述待识别图像进行数据增广，所述数据增广包括图像尺度归一化、图像随机裁剪、图像数值归一化、图像翻转、图像缩放、图像旋转及图像倾斜中的一种或多种。

4.一种基于注意力的图像识别系统，其特征在于，所述系统通过训练得到的注意力双线性池化网络模型实现，所述注意力双线性池化网络模型包括并行设置的空间注意力模块和通道注意力模块，所述系统包括：

第一特征获取单元，获取待识别图像的全局特征；

第二特征获取单元，基于所述通道注意力模块获取所述待识别图像的通道特征；

第三特征获取单元，基于所述空间注意力模块获取所述待识别图像的空间特征；

融合单元，通过双线性池化操作对所述通道特征和所述空间特征进行特征融合得到融合后的局部特征；

识别单元，基于所述全局特征与所述局部特征对所述待识别图像进行识别；

其中，在训练所述注意力双线性池化网络模型时，采用交叉熵损失函数对所述融合后的局部特征进行预测，并采用交叉熵损失函数对所述注意力双线性池化网络模型的识别结果进行预测；

其中，所述第二特征获取单元具体用于：

获取所述待识别图像的特征图并对所述特征图进行全局平局池化得到单位通道特征；

将所述单位通道特征输入第一全连接层后通过第一预设激活函数进行第一次激活；

将所述第一次激活后的结果输入第二全连接层后通过第二预设激活函数进行第二次激活得到通道注意力权值，所述第二全连接层不再起降维作用；

将所述通道注意力权值与所述特征图相乘得到所述通道特征。

5.根据权利要求4所述的系统，其特征在于，所述第三特征获取单元具体用于：

获取所述待识别图像的特征图并对所述特征图分别进行全局平局池化和全局最大池化，并将两次池化结果沿着通道方向进行拼接；

将所述拼接后的结果进行卷积处理后通过第三预设激活函数得到空间注意力权值；

将所述空间注意力权值与所述特征图相乘得到所述空间特征。