[发明专利]一种基于球面嵌入、球面对齐和球面校准的零样本学习机制

说明书

本申请公开了一种基于球面嵌入、球面对齐和球面校准的零样本学习机制，包括：系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别。本发明中提出了联合目标函数，其中α和β为实验过程中调节的超参。本发明在一个优化公式中集中利用球面嵌入、球面对齐和球面校准，分别解决语义鸿沟问题、枢纽问题和预测偏差问题；本发明将图像的视觉特征和类别的语义描述之间的距离，映射到一个球体计算；传统的欧式距离忽略了角度信息，而余弦距离中完全没有体现出径向距离，因此本发明所采用的球面嵌入，更加综合考虑角度信息和径向距离；本发明且针对可见类别和未见类别，采用不同的径向距离，从而加重未见类别样本的作用。

技术领域

本申请涉及零样本学习技术领域，尤其涉及一种基于球面嵌入、球面对齐和球面校准的零样本学习机制。

背景技术

在现实场景中，许多任务需要对以前从未见过的实例类别进行识别，这样就使得原有训练方法不在适用。零样本学习应运而生。零样本学习，也叫Zero shot learning，该方法在学习时遇到的实例所涉及的类别与实际测试中要分类的类是不相交的，其主要目的是根据训练集中的可见类别数据，通过相关先验知识，实现对未见类别的数据，进行类别预测和识别。

现有的方法主要是从嵌入模型、生成模型和度量方法几个方面开展相关的研究工作。嵌入模型方法主要是通过将视觉空间的特征映射到语义表示的类别原型上，实现可见类别的知识向未知类别迁移。生成模型方法是通过生成对抗模型或者变分编码器通过未知类别的语义描述，产生该类别的样本，从而将零样本学习转为小样本或多样本学习。度量方法是在嵌入空间中选用合适的度量方法，建立视觉特征和类别原型之间的相似度。

现有的零样本学习方法会遇到几个问题：1、可见类别和未见类别之间的语义鸿沟问题。目前的方法是通过语义空间建立已知类别和未知类别的关联关系，对其关联关系描述简单；2、枢纽问题，就是在零样本学习中会遇到许多不同类别的样本可能只和几个类别原型较近，而和大部分类别距离远；3、预测偏差问题，从未知类别中来的测试图像，总是倾向于识别为和未知类别很接近的已知类别。

本发明中提出一种基于球面嵌入、球面对齐和球面校准的零样本学习机制，针对上述三个问题，即语义鸿沟问题、枢纽问题、预测偏差问题，提出一个综合解决方案，通过球面嵌入、球面对齐和球面校准融合到一个框架中解决上述的问题。

发明内容

本申请实施例提供一种基于球面嵌入、球面对齐和球面校准的零样本学习机制，包括：系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别；

所述系统整体框架构建包括：

图像经过视觉特征嵌入网络φ，类别信息经过语义嵌入网络通过球面嵌入的KL距离，球面对齐的R函数和球面校准的最小熵约束，构造一个目标函数如下：

其中表示球面嵌入的KL距离，由实际标注样本和预测样本之间分布的KL距离计算，具体步骤见2.5，R表示球面对齐函数，具体计算公式见步骤2.3；表示球面校准的最小熵约束，具体计算公式见步骤2.4；α和β为实验过程中调节的超参；

所述语义嵌入网络参数学习过程包括：

输入：可见类别的类别原型A_C集合和未知类别的类别原型A_U集合，训练数据集合D_C^tr，视觉特征嵌入网；

输出：语义嵌入网络参数；

步骤1：初始化，设置batch大小B以及迭代次数l，初始化语义嵌入网络参数；

步骤2：迭代次数iter＝[1：l]，做以下操作：

步骤2.1：随机采样B个样本；