[发明专利]网络模型的训练方法及装置、图像处理方法及存储介质

说明书

本申请涉及人工智能技术领域，提供一种网络模型的训练方法及装置、图像处理方法及存储介质。其中，网络模型的训练方法包括：将训练图像输入至主干网络进行特征提取，获得训练图像的特征图；将特征图输入至第一分支网络进行处理，获得训练图像的全局特征，以及，将特征图输入至第二分支网络进行处理，获得训练图像的局部特征；联合训练图像的全局特征以及局部特征形成训练图像的特征；基于训练图像的特征计算损失，并根据损失计算结果更新主干网络的参数。上述方法由于同时利用了训练图像的全局特征以及局部特征训练主干网络，从而训练好的主干网络可以视为同时学习了训练图像的全局特征和局部特征，因此其执行图像处理任务可以获得较好的结果。

技术领域

本发明涉及人工智能技术领域，具体而言，涉及一种网络模型的训练方法及装置、图像处理方法及存储介质。

背景技术

商品细分类可以指基于商品的图像来区分外观相似、仅存在细节不同的商品的方法。在现有技术中，通常先使用训练好的网络模型(如神经网络模型)从图像中提取商品特征，然后基于提取出的特征进行商品分类。然而，现有的网络模型通常被训练为只能提取商品的全局特征，但外观相似的商品其差异恰恰在局部细节，因此导致利用提取出的全局特征进行商品细分类效果不佳。

发明内容

本申请实施例的目的在于提供一种网络模型的训练方法及装置、图像处理方法及存储介质，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种网络模型的训练方法，包括：将训练图像输入至主干网络进行特征提取，获得所述训练图像的特征图，所述主干网络为神经网络；将所述训练图像的特征图输入至第一分支网络进行处理，获得所述训练图像的全局特征，以及，将所述训练图像的特征图输入至第二分支网络进行处理，获得所述训练图像的局部特征；联合所述训练图像的全局特征以及局部特征形成所述训练图像的特征；基于所述训练图像的特征计算损失，并根据损失计算结果更新所述主干网络的参数。

上述方法中的网络模型设计了主干网络以及两个分支网络，两个分支网络分别用于获取训练图像的全局特征和局部特征，然后联合两方面的特征形成训练图像的特征，并基于训练图像的特征计算预测损失(例如，可以基于该特征进行商品分类预测并计算预测损失等)，进而更新主干网络的参数。

其中，主干网络即被训练的对象，训练好后主干网络可以用于执行图像处理任务(例如，商品细分类任务等)，由于同时利用了训练图像的全局特征以及局部特征进行训练，从而最终获得的主干网络可以视为既学习了训练图像的全局特征又学习了训练图像的局部特征，因此执行图像处理任务可以获得较好的结果(例如，较高的商品细分类精度)。

在第一方面的一些实现方式中，所述将所述训练图像的特征图输入至所述第一分支网络进行处理，获得所述训练图像的全局特征，包括：利用所述第一分支网络对所述训练图像的特征图进行池化以及特征嵌入，获得所述训练图像的全局特征。

上述实现方式中的池化操作用于数据降维，以便降低后续运算量，特征嵌入操作用于将数据转换为向量表示，由于第一分支网络是对完整的训练图像的特征图进行处理，所以得到的是训练图像的全局特征。或者说通过设置第一分支网络，主干网络可以学习到训练图像的全局特征。

在第一方面的一些实现方式中，所述将所述训练图像的特征图输入至所述第二分支网络进行处理，获得所述训练图像的局部特征，包括：确定所述训练图像的特征图中的遮挡区域，对所述遮挡区域内的像素进行擦除或者模糊处理；对处理后的所述训练图像的特征图进行池化以及特征嵌入，获得所述训练图像的局部特征。

上述实现方式中通过选择遮挡区域，将训练图像的特征图中的一部分擦除或者模糊掉，剩余部分只是原特征图的局部，因此再进行池化以及特征嵌入得到是的训练图像的局部特征。或者说通过设置第二分支网络，主干网络可以学习到训练图像的局部特征。