[发明专利]基于可变边界支撑向量机的重要信息获取方法

说明书

技术领域

本发明属于信息的获取技术领域，特别是一种重要信息获取方法，该方法可应用于信息重要度评级，及产品质量的评价。

背景技术

目前，随着科技的发展，互联网提供了海量信息资源，所以是否能够得到我们想要的重要信息，变得越来越重要。在信息获取的方法中，信息检索及搜索引擎的应用是一个重要的途径。在搜索引擎中，核心是如何按人们的需求来提供信息，及对所获得的信息如何进行评级。

在信息获取方法中，首先要确定信息需求，即给定我们感兴趣的查询，其次，针对查询对信息进行收集，然后对信息进行评价，信息评价系统是信息的获取至关重要的一步，是对每个返回样本进行评级，给它们相应的评价分数，这些分数反映了各个样本所含信息的重要度信息评价系统的优劣，决定着我们最后能否获取想要的信息。该信息评价系统是通过机器学习的方法，在训练样本集训练得到的。

在信息评级过程中，对式比较是比较常用的方法。在返回的信息文本样本中，通过对两两样本的对比，来确定信息的重要程度，是有监督的方法。两个样本组成一个样本对，把这对样本看成一个对式样本，并给定标签，这就可以用有监督分类的方法来解决这类问题。

1998年，谷歌的创始人布林与谢奇提出了Pagerank的方法，用于网页信息的评级。但只是对单一特征进行处理，不能够全部反映信息的重要度。在信息评级中，支持向量机是一个重要评价方法，可处理多种特征，更能反映信息的全部内容。2000年，Herbrich提出将支持向量机理论应用于有序回归，首次提出排序支持向量机，从对式样本的训练中，得到信息评价系统，来用于评价信息的重要性。2002年，Joachims从另一个角度推出通过对式样本训练得到支持向量机评价模型，应用于信息评分。虽然二者的采样模型有所不同，但都是用分类的方法来研究信息的评级，即通过对式样本的分类训练，得到信息评价模型。

以上两种支持向量机信息评价方法，虽然可处理多维的特征，但在训练过程中，都没有考虑信息重要程度之间的差异性。因为当训练集的重要程度判断多于两种时，对式样本的所含信息，是有差异的。假设训练集的样本重要度标签有Y＝{1，2，3，4，5}，重要度值为5的样本重要度值为l的样本，组成的对式样本和重要度值为3的样本与重要度值为2的样本组成的对式样本，其标签都是1，被同等的对待了。而上述的支持向量机信息评价方法中，其支持向量机优化过程中约束条件的边界都是不变的，因此不能体现对式样本的信息差异性，这样就损失了很重要的信息，使信息评级的结果不准确。

发明内容

本发明的目的在于克服上述方法中的不足，提供一种基于可变边界的支持向量机信息获取方法，将对式样本之间的差异性信息引入支持向量机的优化中，使样本的训练更为有效，保证对重要信息的获取，提高信息评级结果的准确性。

为实现上述目的，本发明包括如下：

搜集需求信息步骤；针对待评价信息对象，通过smart搜索引擎，按照查询需求，将需收集的信息提取成一个文本集合；

信息预处理步骤：利用文本集合的词频和逆向文件频率的t维原始特征t＞44，对文本集合进行特征提取，将这些提取的特征转换为45维数值特征向量，对这些特征向量进行降维，得到样本集(x_i，y_i)，i＝1.......n，x₁，…x_n是二维样本特征矢量，y_i为样本重要度标识，n为样本数；

信息评价模型的训练步骤：

将上步得到的样本集中的r个样本作为原始训练集r＜n，在原始训练集((x₁，y₁)，…，(x_r，y_r))中，由任意两个二维样本特征矢量形成对式样本若第一样本特征矢量的重要度标识大于第二样本特征矢量的重要度标识，则将对式样本标识为z_i＝1，反之z_i＝-1，构造出新的训练集：i＝1，2，…m，m＝O(n²)，m为新训练集样本数，为可变边界因子，体现了对式样本信息重要度的差异；

利用可变边界的支持向量机信息评价方法，对新的训练集进行训练，得到信息评价函数f(x)＝w·x，w为训练得到的权值参数，x为输入的二维样本特征矢量；

重要信息的获取步骤：在信息评价函数f(x)＝w·x中输入待评价信息的样本特征矢量，按照这些特征矢量的函数值大小，进行降序排列，将排在前面的样本，作为要获取的重要信息。