[发明专利]一种多标记的文本类数据特征选择方法及装置

说明书

本发明涉及一种多标记的文本类数据特征选择方法及装置，属于文本数据处理技术领域。本发明首先考虑文本数据集中标记与标记之间的二阶相关性，将标记进行分组，使其可以更好的适用于多标记数据集，根据特征在每个标记组计算出的得分确定各特征的最终得分，并从中选取得分较高的设定个数的特征，构成特征集合；然后基于得到的特征集合，根据文本数据集中各样本对于标记的分类间隔确定每个样本的邻域粒度，得到多标记邻域决策系统，利用改进的邻域粗糙集的依赖度计算重要度，对得到的特征集合进行筛选，从而实现对多标记文本数据的特征选择。相较于原始的针对全体属性的邻域粗糙集特征选择方法，本发明的时间复杂度更低，最优特征子集更准确。

技术领域

本发明涉及一种多标记的文本类数据特征选择方法及装置，属于文本数据处理技术领域。

背景技术

多标记学习是模式识别、机器学习、数据挖掘及数据分析等领域的一个研究热点。在多标记学习中，每个实例不仅由一组特征向量描述，而且还对应着多个决策属性。现实生活中也有许多问题属于多标记学习的范畴，例如：一部电影可以同时属于多个类别，如“动作”，“科幻”和“战争”；一篇文档可能同时具有多个主题，如“医学”，“科技”和“人工智能”；一幅图像可能同时标注多个语义，如“街道”，“汽车”和“行人”。使用单标签分类方法难以对该类问题进行准确的分类，因此，近年来学者们越来越重视多标记学习。

在研究多标记分类的过程中面临着许多难题：一方面，每个实例可能同时具有多个类别标记，并且这些标记之间也有着一定的关联；另一方面，在多标记数据中，数据的维度通常偏高，而这可能会造成维数灾难，严重影响分类器的分类性能。因此，在数据预处理中，降维技术至关重要。特征提取和特征选择是特征降维的主要手段，前者通过转换或映射的方法将原有的高维特征转换到一个新的低维空间；后者根据一定的评价准则，从原始特征空间中选取一组最优的特征子集。特征选择主要有三种方法来处理多标记数据：过滤法、包裹法和嵌入式法。过滤法依赖于训练数据的一般特性，并将特征选择过程用作预处理步骤，具有较低的计算成本和较好得到泛化能力；包裹法使用基础模型进行多轮训练，在每一轮训练之后，移除多个权重系数的特征，然后基于新特征集合执行下一轮训练，该方法计算上的代价较昂贵；嵌入式法将特征选择过程集成到训练过程中，来减少用于重新分类不同子集的总时间。

由Fisher判别分析(Fisher Discriminate Analysis,FDA)演化的Fisher Score方法是比较常见的有监督学习下的特征选择方法。2002年，Guyou等提出了一种和Fisher判别分析很相似的F-score特征选择公式；随后，Chen等提出了基于二分类问题的F-score得到表达式；2010年，Salih等首次对F-Score进行改进，使得改进后的F-Score可以应用到多分类的问题中；2011年，Gu等考虑了特征之间的相关性、冗余性，进一步完善了F-Score,并且提出了广义的Fisher Score；2012年，谢娟英等考虑到特征之间的量纲问题，对多分类Fisher Score进行的改进；2013年，Tao等从类别间的重叠性和特征的一致性上进行考虑，在传统公式上加上了权重系数。然而，传统的Fisher Score通常只能针对单标记数据集进行计算。