[发明专利]一种图像分级粒度迁移方法、系统、设备和介质

权利要求书

1.一种图像分级粒度迁移方法，其特征在于，所述方法包括：

获取图像的视觉特征、父类别语义描述和子类别语义描述；

利用语义对齐损失函数对双语义保留网络进行训练，所述语义对齐损失函数为：

其中，x为图像的视觉特征，X为数据集中图像的视觉特征集合，d(·，·)为距离度量函数，f_v(·)是视觉编码器，g(·)是语义解释器，a(y_b)为图像的父类别语义描述向量，y_b为图像的父类别标注，为数据集中父类别标注集合，为标准的交叉熵分类损失函数，用于保证f_v(x)的类间可区分性；

利用所述双语义保留网络将所述视觉特征与所述父类别语义描述进行第一匹配，通过所述第一匹配预测图像的父类别；

通过所述图像的父类别确定图像子类别的范围；

获取所述视觉特征中的预设区域视觉特征，利用双语义保留网络将所述预设区域视觉特征与所述子类别语义描述在所述子类别的范围中进行第二匹配，通过所述第二匹配预测图像的子类别，其中，预测过程通过下式表示：

其中，为预测的子类别，x为图像的视觉特征，d(·，·)为距离度量函数，f_pv(·)是预设区域视觉特征的视觉编码器，g(·)是语义解释器，a(y_s)为图像的子类别语义描述向量，Ω_b→s为图像子类别的范围。

2.根据权利要求1中所述的方法，其特征在于，在所述通过所述第一匹配预测图像的父类别中，所述预测过程通过下式表示：

其中，为预测的父类别，x为图像的视觉特征，d(·，·)为距离度量函数，f_v(·)是视觉编码器，g(·)是语义解释器，a(y_b)为图像的父类别语义描述向量，y_b为图像的父类别标注，为数据集中父类别标注集合。

3.根据权利要求1中所述的方法，其特征在于，所述通过所述图像的父类别确定图像子类别的范围，包括：

所述图像子类别的范围Ω_b→s通过下式表示：

其中，M(·)为映射函数，用于在T中查找对应于预测的父类别的子类别集合；T为数据集中父类别集合与数据集中子类别集合之间的映射矩阵，且N_b和N_s分别为数据集中父类别和子类别数量。

4.根据权利要求1中所述的方法，其特征在于，所述获取所述视觉特征中的预设区域视觉特征，包括：

采用注意力机制获取所述视觉特征中的预设区域视觉特征。

5.根据权利要求1中所述的方法，其特征在于，在利用双语义保留网络将所述预设区域视觉特征与所述子类别语义描述在所述子类别的范围中进行第二匹配，通过所述第二匹配预测图像的子类别之前，还包括：

利用粒度熵损失函数对所述双语义保留网络进行训练，所述粒度熵损失函数为：

其中，x为图像的视觉特征，X为数据集中图像的视觉特征集合，d(·，·)为距离度量函数，f_pv(·)是预设区域视觉特征的视觉编码器，g(·)是语义解释器，a(y_s)为图像的子类别语义描述向量，Ω_b→s为图像子类别的范围。