[发明专利]一种细粒度图像识别分类模型训练方法、装置及设备

权利要求书

1.一种细粒度图像识别分类模型训练方法，其特征在于，所述方法包括：

获取模型训练用的细粒度图像，并将所述细粒度图像输入到预设网络模型当中进行训练，所述预设网络模型包括多层自注意力层以及多尺度模块，每一所述自注意力层分别与所述多尺度模块连接，所述细粒度图像依次经过每一所述自注意力层，以通过所述自注意力层对所述细粒度图像进行分类向量学习；

获取预设数量个目标自注意力层对所述细粒度图像进行学习得到的分类向量，所述目标自注意力层位于所述多层自注意力层的后端；

将每个所述目标自注意力层的分类向量输入到预设分类器当中，输出每个所述目标自注意力层的分类标签，分别将每个所述目标自注意力层的分类标签与预设真实标签进行损失计算，得到每个所述目标自注意力层的损失值；

根据每个所述目标自注意力层的损失值，分别通过反向传播机制更新网络参数，以训练所述细粒度图像识别分类模型；

此外，所述方法还包括：

根据预设计算规则计算出所述自注意力层在对所述细粒度图像进行分类向量学习之后的最终注意力权重矩阵；

根据所述最终自注意力权重矩阵确定分类目标所在位置，并根据所述分类目标所在位置在所述细粒度图像中截取分类目标区域图像；

将所述分类目标区域图像缩放到与所述细粒度图像同样大小后输入到所述预设网络模型当中进行训练，以强化训练所述细粒度图像识别分类模型；

其中，所述预设网络模型还包括线性投影层和位置编码层，将所述细粒度图像输入到预设网络模型当中进行训练的步骤包括：

按照预设分割规则将所述细粒度图像分割成预设份子图像，并通过所述线性投影层将每一所述子图像映射到高维特征空间，得到每份所述子图像的图片向量；

通过所述位置编码层对每份所述子图像的图片向量进行编码，以为每个所述图片向量添加位置编码信息，并在第一个图片向量前添加一个空的分类向量，得到向量序列，所述位置编码信息为子图像在整个细粒度图像的位置坐标信息或子图像的编号；

将所述向量序列输入到所述多层自注意力层进行分类向量学习，每层所述自注意力层学习到的分类特征会更新于所述向量序列的分类向量当中，得到每层所述自注意力层的分类向量；

其中，所述自注意力层包括多个注意力头，根据预设计算规则计算出所述自注意力层在对所述细粒度图像进行分类向量学习之后的最终注意力权重矩阵的步骤包括：

在对所述细粒度图像进行分类向量学习之后，在每个所述注意力头当中，分别计算出本层当中分类向量与每个图片向量的注意力权重，得到每个所述注意力头对应的注意力权重矩阵；

将所有所述注意力头的注意力权重矩阵进行点乘计算，得到所述最终注意力权重矩阵；

其中，根据所述最终自注意力权重矩阵确定分类目标所在位置的步骤包括：

计算所述最终注意力权重矩阵中所有注意力权重的平均值；

将所述最终注意力权重矩阵中的每个注意力权重与所述平均值进行比较，大于所述平均值的注意力权重标记为第一阈值，否则标记为第二阈值；

根据与分类向量的注意力权重为第一阈值的目标图片向量的位置编码信息，确定所述分类目标所在位置。

2.根据权利要求1所述的细粒度图像识别分类模型训练方法，其特征在于，注意力权重的计算公式为：

式中，为第l个注意力头当中的第i张图片向量与分类向量的注意力权重，Q为查询向量，K为键向量，V为值向量，d_k为注意力头的映射空间维度，T为矩阵转置；其中，注意力权重矩阵A表示为：

其中，l∈1,2,…,L，i∈1,2,…,K，L代表注意力头的数量，K代表图片向量的数量。