[发明专利]基于层次化深度网络的特征选择方法

摘要

本发明提供了一种基于层次化深度网络的特征选择方法，一种对树分类器不同层次的深度特征进行选择性正交的特征选择算法，使每层分类器提取的特征更加符合各自分类任务的需求，提高特征的可分性，有效地抑制了类别间的相似性特征对网络图像识别能力的影响，并且在反向传播时利用知识图谱来指导网络对特征选择参数进行更新，使网络在粗略分类时更加关注“粗类”内各类别间的相似性，精细分类时更加关注各相似类别间的差异性。本发明提高了特征的有效性和可分性，提升整体网络结构的识别能力，提高了分类的准确率。本发明在各个数据集上均取得了更优的分类效果。

主权项

1.一种基于层次化深度网络的特征选择方法，其特征在于包括下述步骤：步骤一：知识图谱的构建针对不同的数据库构建知识图谱，先将数据库中的图片按照类间相似性进行划分，标注成若干个粗类，然后在粗类下进行精准划分，再次标注为若干个细类，形成一个两层结构的知识图谱，其中每个图片均有两个标签，即粗类标签和细类标签，并且每个图片被标注的细类均被包含在该图片被标注的粗类范围中；步骤二：图像深度特征提取利用CNN网络提取步骤一中每一张图片的深度特征，即先使用卷积层提取出图片边缘信息；利用非线性层的RELU函数模拟神经元对特征进行增强和抑制；池化层提取图片局部信息；步骤三：树分类器的构建根据步骤一中各数据库的知识图谱构建对应的树分类器，首先在树分类器的第一层设置一个粗分类器用于识别图片属于知识图谱中的粗类，然后在第二层对每一个粗类都设置一个细分类器用于识别图片属于知识图谱的细类，对于树分类器结构中的N+1个子分类器，每个子分类器均包含两个全连接层C1与C2和一个softmax分类器，将步骤二中提取到的深度特征传入到树分类器的各个子分类器中进行分类，当第一层分类器判断图片属于某一粗类，用属于该粗类下第二层细分类器判断图片属于哪一细类，即可识别出图像的类别；步骤四：图像深度特征选择针对树分类器不同层次分类任务的需求，将粗分类器提取的特征与细分类器提取特征进行选择性正交实现特征选择；选择性正交时，首先利用特征间的余弦相似度对特征进行筛选，并将筛选后的特征进行施密特正交变换，选择性正交后使得树分类器在进行细分类时的特征更加关注类间的差异性，而减小类间相似性的影响；所述余弦相似度具体计算步骤如下：对于树分类器的每个子分类器的C1层，各分类器共用一个CNN网络提取网络深度特征，因此输入是相同的，但各分类器的C1层不同，输出是不同的，全连接层输出为神经元，因此使用神经元对应的权重向量之间的余弦相似度来度量神经元之间的相似度，C1层的计算公式为：Y_g＝W_g*X     (1)Y_s＝W_s*X      (2)其中，Y_g为粗分类器C1层的输出，Y_s为细分类器C1层的输出，W_g为粗分类器C1层的权重向量，W_s为细分类器C1层的权重向量，由于输入向量X相同，求得W_g与W_s各个行向量[a_k1，a_k2，....，a_kn]和[b_k1，b_k2，....，b_kn]的余弦相似度，即可得到粗分类器输出的第k个神经元Y_g[k]和细分类器输出的第k个神经元Y_s[k]之间的相关性，其中k代表行数，余弦相似度cosθ的公式如下：其中dot_product为W_g和W_s各个行向量的内积组成的列向量，包含各个向量本身的长度与余弦相似度信息；norm为W_s和W_g的各个行向量的长度乘积组成的列向量；.*代表矩阵对应点相乘；sum表示将向量中每一个行向量的向量点进行求和，求出的dot_product和norm都是一维列向量，i代表第i个向量值，则可得：其中，θ_i表示粗分类器C1层与细分类器C1层得到的第i个神经元之间的相似度夹角，根据得到的夹角值的大小设置阈值θ′进行选择，其中，θ′为一个常数，将夹角大于θ′的神经元组合成特征向量，夹角小于θ′的神经元在原输出点不做任何改动；所述施密特正交法进行特征正交的具体计算步骤为：设定的阈值角为θ，第i个点的特征夹角为θ_i，有p个点的θ_i大于θ，将θ_i所对应的p个Y_g[i]与p个Y_s[i]构成两个p维列向量α和β，其中α是粗分类器上的特征，β是细分类器的特征，α和β是由相似度较大的特征点构成的，说明β中含有较多的α中存在的类间相似性特征，使用公式(5)对β进行施密特正交变换：得出的γ代表β与α垂直的向量，将β在α上的投影滤掉，使得α与β的余弦相似度为零，即将β中与α之间的相似性滤去，只留下了特征向量β自身的特性，使得到的特征向量更加具有有效性和可分性，最后，将通过公式(5)得到的向量γ[i]放回到对应位置Y_s[i]处作为下一层的输入。