[发明专利]一种图像分级粒度迁移方法、系统、设备和介质

说明书

本发明提供了一种图像分级粒度迁移方法、系统、设备和介质。所述方法包括：获取图像的视觉特征、父类别语义描述和子类别语义描述；利用双语义保留网络将所述视觉特征与所述父类别语义描述进行第一匹配，通过所述第一匹配预测图像的父类别；通过所述图像的父类别确定图像子类别的范围；获取所述视觉特征中的预设区域视觉特征，利用双语义保留网络将所述预设区域视觉特征与所述子类别语义描述在所述子类别的范围中进行第二匹配，通过所述第二匹配预测图像的子类别。实现了仅使用父类别的图像标注和分级粒度的类别描述来解决对应下属子类别的识别问题。

技术领域

本发明涉及人工智能领域，具体涉及一种图像分级粒度迁移方法、系统、设备和介质。

背景技术

物体的类别通常组成了一个分级粒度树。例如，鸟有“纲”，“科”，和“种”三种不同的分类。目前，大多数研究人员专注于解决视觉识别中的特定粒度类别，例如“科”类别(父类别)或其下属“种”类别(子类别)。相比于父类别，子类别通常能提供更有价值的信息，但其数据的标注也更难获取。

目前已有的视觉识别任务，存在严重的粒度差异，即两种粒度需对应于不同的视觉表达分布，因此阻碍了知识的迁移。

因此，如何将从父类别标注中学到的知识迁移到其子类别的识别任务中是目前研究人员关注的问题。

发明内容

(一)要解决的技术问题

如何将从父类别标注中学到的知识迁移到其子类别的识别任务。

(二)技术方案

为了解决上述问题，本发明一方面提供了一种图像分级粒度迁移方法，所述方法包括：获取图像的视觉特征、父类别语义描述和子类别语义描述；利用双语义保留网络将所述视觉特征与所述父类别语义描述进行第一匹配，通过所述第一匹配预测图像的父类别；通过所述图像的父类别确定图像子类别的范围；获取所述视觉特征中的预设区域视觉特征，利用双语义保留网络将所述预设区域视觉特征与所述子类别语义描述在所述子类别的范围中进行第二匹配，通过所述第二匹配预测图像的子类别。

可选地，在所述通过所述第一匹配预测图像的父类别中，所述预测过程通过下式表示：

其中，为预测的父类别，x为图像的视觉特征，d(·，·)为距离度量函数，f_v(·)是视觉编码器，g(·)是语义解释器，a(y_b)为图像的父类别语义描述向量，y_b为图像的父类别标注，数据集中父类别集合。

可选地，在利用双语义保留网络将所述视觉特征与所述父类别语义描述进行第一匹配，通过所述第一匹配预测图像的父类别之前，还包括：

利用语义对齐损失函数对所述双语义保留网络进行训练，所述语义对齐损失函数为：

其中，x为图像的视觉特征，X为数据集中图像的视觉特征集合，d(·，·)为距离度量函数，f_v(·)是视觉编码器，g(·)是语义解释器，a(y_b)为图像的父类别语义描述向量，y_b图像的父类别标注，数据集中父类别标注集合，为标准的交叉熵分类损失函数，用于保证f_v(x)的类间可区分性。

可选地，所述通过所述图像的父类别确定图像子类别的范围，包括：

所述图像子类别的范围Ω_b→s通过下式表示：

其中，M(·)为映射函数，用于在厂中查找对应于预测的父类别的子类别集合；T为数据集中父类别集合与数据集中子类别集合之间的映射矩阵，且N_b和N_s分别为数据集中父类别和子类别数量。