[发明专利]基于知识图谱增强小样本视觉分类的网络模型构建方法

权利要求书

1.一种基于知识图谱增强小样本视觉分类的网络模型构建方法，其特征在于，该方法包括以下具体步骤：

步骤1：收集领域中所有标注图片的所属类别；

步骤2：提取知识图谱中的语义特征，具体包括：

2.1：采用有向图知识图谱Wordnet作为初始化的知识图谱；定义该知识图谱为其中V和R分别表示图中节点的集合和边的集合；用三元组(v₁，r，v₂)的形式存储知识图谱，其中节点v₁和v₂间存在关系r，r表示上位词或下位词关系；

2.2：通过步骤1中收集到的类别，找到所述类别在知识图谱中对应的节点；

2.3：采用2-hop约束来对Wordnet进行裁剪，获取知识子图G；2-hop约束为：在子图中的任意两个节点间，若在两个节点间存在一条通路，那么这条通路上最多只能存在一个中间节点；

2.4：采用图卷积神经网络来获取经裁剪后的知识图谱中的语义信息；所述图卷积神经网络的卷积核为：其中H^(l)表示第l层的输出，是包含自循环的邻接矩阵，A表示邻接矩阵，I表示单位矩阵，指的是节点度的对角矩阵，W^(l)表示第l层引入的可学习参数；采用预训练的GloVe模型来产生节点的初始化语义特征向量，即H⁽⁰⁾＝Vec，Vec表示节点的语义特征向量；通过迭代两次卷积核，得到子图中的语义特征表示整个图卷积神经网络中需训练的参数W⁽⁰⁾和W⁽¹⁾，G表示经裁剪后的知识子图；

步骤3：将标注图片和待分类图片分别输入残差网络，输出标注图片和待分类图片的特征；残差网络中包含4个残差模块，每个残差模块包括3层卷积层；残差模块中的激励函数采用Relu函数，卷积层采用3×3卷积层；输入残差网络中的图片维度为84×84；

步骤4：对属于同类别的所有标注图片，在经过步骤3后，将获得的图片特征进行求均值操作，得到的均值作为该类别的图片特征；设当前处理的类别为k，那么代表类别k的图片特征S_k表示类别k中标注图片的集合，|S_k|表示标注图片集合中元素个数，(x_i，y_i)表示S_k中的某张标注图片x_i和对应的所属类别y_i，f_θ(·)表示步骤3中的残差网络，θ表示残差网络中可训练的参数；

步骤5：通过标注图片所属类别获得该类别在知识图谱中对应的语义特征；

步骤6：将类别的语义特征和类别的图片特征进行融合，得到该类别的融合特征；设当前处理的类别为k，那么类别k的融合特征c_k表示类别k的图片特征，表示类别k在知识图谱中的语义特征；

步骤7：计算待分类图片x_q的图片特征与每个类别的融合特征之间的余弦相似度，

并进一步计算x_q在所有类别上的概率分布d表示余弦相似度函数；

步骤8：取p(x_q)中最大概率对应的类别，作为待分类图片x_q的所属类别，实现对x_q进行分类。