[发明专利]一种基于预分类和特征学习抗噪的网络信息检索方法

摘要

本发明一种基于预分类和特征学习抗噪的网络信息检索方法，可用于包括文本和图像信息的网络信息快速检索。首先使用深度学习训练网络，选用VGG16的16层深度神经网络，用整流线性单元作为激活函数，在每个完全连接层后添加一个压差层。最后一个完全连接的层具有的节点数为N级，使用softmax函数作为其分类函数。网络训练好后，数据集通过训练网络以前向传播的方式提取特征，用softmax从最后一层获得预分类结果，数据预分类结果提供反馈信息，即属于同一类别网络数据的特征应存储在一起。对新来的查询数据，使用余弦距离度量查询信息与查询中属于同一类别的信息之间的相似度。本发明具有检索效率高，抗噪性能强的优势。

主权项

1.一种基于预分类和特征学习抗噪的网络信息检索方法，其特征在于：该方法具体步骤如下：步骤一、采用深度学习训练网络；采用名为VGG16的16层深度神经网络，并使用转移学习来微调预先训练的网络；其中，卷积图层中的权重是固定的，完全连接的图层会被重新训练以输出数据图像的类别；传输模型的前两个完全连接层有512个节点；为避免拟合，使用整流线性单元ReLU作为激活函数，并在每个完全连接层后添加一个压差层；最后一个完全连接的层具有的节点数为N级，并使用softmax函数作为其分类函数；将上述学习任务作为一个多分类问题进行训练，其中最后一层的输出可以被解释为分类概率的估计；所以这个阶段的损失定义为：其中,W和b是网络参数，n是训练样本的索引，N是训练样本数,y_n是标签,x_n是网络输出结果；反向梯度损失函数可定义为其中,w和b是网络参数，n是训练样本的索引，N是训练样本数,y_n是标签,x_n是网络输出结果；利用梯度下降算法根据公式(2)计算w和b，并得到公式(1)损失函数的最优解；对于一个新的查询网络信息x_j，它属于类别C的概率(Prob)为：[Prob，C]＝max(W^Tx_j+b)  (3)其中，W和b是网络参数；步骤二、特征学习和预分类按照步骤一进行网络训练后，数据集通过训练网络以前向传播的方式提取特征，获得了Fc2层每个网络信息的特征向量，并使用softmax从最后一层获得预分类结果；之后，数据预分类的结果提供反馈信息，即属于同一类别的网络数据的特征应该存储在一起；对于新来的查询数据，使用余弦距离来度量查询信息与查询中属于同一类别的信息之间的相似度；整个过程将分为离线处理阶段和在线处理阶段两个部分。