[发明专利]一种基于球面嵌入、球面对齐和球面校准的零样本学习机制

权利要求书

1.一种基于球面嵌入、球面对齐和球面校准的零样本学习机制，其特征在于，包括：系统整体框架构建、语义嵌入网络参数学习过程与未见类别样本识别；

所述系统整体框架构建包括：

图像经过视觉特征嵌入网络φ，类别信息经过语义嵌入网络通过球面嵌入的KL距离，球面对齐的R函数和球面校准的最小熵约束，构造一个目标函数如下：

其中表示球面嵌入的KL距离，由实际标注样本和预测样本之间分布的KL距离计算，R表示球面对齐函数；表示球面校准的最小熵约束，α和β为实验过程中调节的超参；

所述语义嵌入网络参数学习过程包括：

输入：可见类别的类别原型A_C集合和未知类别的类别原型A_U集合，训练数据集合D_c^tr，视觉特征嵌入网；

输出：语义嵌入网络参数；

步骤1：初始化，设置batch大小B以及迭代次数l，初始化语义嵌入网络参数；

步骤2：迭代次数iter＝[1:l]，做以下操作：

步骤2.1：随机采样B个样本；

步骤2.2：将可见类别的类别原型A_C和未知类别的类别原型A_U投影到球面嵌入空间，即对A_C∪A_U中的每一个类别原型a，根据语义嵌入网络生成

步骤2.3：按照以下公式计算R：

其中i、j分别表示原型a对应的类别标号，cos(θ_i,j)则表示两个类别i、j的原型之间的余弦距离，表示两个类别i、j之间对齐因子：

其中a_i表示类别i的原型，a_j表示类别j的原型，表示语义嵌入网络；

其中u取值表示均匀对齐因子，即表示平衡对齐因子，S取值表示语义对齐因子，即表示相似度对齐因子，而λ是平衡语义对齐和均匀对齐的平衡参数，在[0,1]之间取值，

平衡对齐因子按下式计算：

相似度对齐因子按下式计算：

步骤2.4：按照以下公式计算：

其中表示训练数据集，表示从训练数据集中选择样本x_n，表示在数据集上所有样本上的期望，H[q]表示分布q的熵，表示样本x_n经过视觉特征嵌入网络φ和语义嵌入网络之后，在已知原型a的条件下，预测类别标签y的概率分布，a为对应原型，y为预测的类别标签，概率分布q计算为：

其中φ表示视觉特征嵌入网络，表示语义嵌入网络，C表示已知类别数，U表示未知类别数，a_i表示类别i的原型，a_j表示类别j的原型，y_i表示y向量中的第i个分量，即在已知原型，已知语义嵌入网络和视觉特征嵌入网络的条件下，x_n属于类别i的概率，

其中函数f_ρ计算如下：

其中ρ₁和ρ₂分别对应可见类别和未见类别的球面半径函数，指定ρ₂ρ₁；

步骤2.5：最小化下面目标函数ρ₂ρ₁；

其中表示训练数据集，表示从训练数据集中选择样本x_n，表示在数据集上所有样本上的期望，D_KL表示计算x_n实际类别标签和其预测的标签分布p之间的KL距离，

而为x_n的one-hot型标注向量，p函数计算如下：

步骤2.6：用后向传播方法更新语义嵌入网络参数；

所述未见类别样本识别包括：

输入：测试图像x_m，可见类别的类别原型A_C和未知类别的类别原型A_U，语义嵌入网络参数，视觉特征嵌入网络φ参数；

输出：测试图像的预测输出；

步骤1：对测试图像x_m，计算测试图像的视觉表示；

步骤2：将可见类别的类别原型A_C和未知类别的类别原型A_U投影到球面嵌入空间，即对A_C∪A_U中的每一个类别原型a，根据语义嵌入网络生成

步骤3：按照如下公式计算对测试图像的类别预测值

其中为了和训练数据保持一致，f_ρ计算如下：

其中θ_n,i表示原型a_n和a_i之间的夹角，其中n表示样本x_n的类别。