[发明专利]文本中特征词选择方法及装置

摘要

本发明提供了一种文本中特征词选择方法及装置，其中该方法包括利用评价函数FCD确定总文本中候选特征词的重要性值，其中，该评价函数FCD为根据候选特征词的平均频度ATF、候选特征词的隶属度μ计算得到的，平均频度ATF为候选特征词在预定文本类别中平均出现的次数，隶属度μ为候选特征词对预定文本类别的隶属度；根据确定的候选特征词的重要性值，从候选特征词中选择预定数量的特征词。通过本发明，解决了相关技术中存在的文本分类系统在非均衡数据集情况下分类性能较差的问题，进而达到了提高文本分类器的性能的效果。

主权项

一种文本中特征词选择方法，其特征在于，包括：利用评价函数FCD确定总文本中候选特征词的重要性值，其中，所述评价函数FCD为根据所述候选特征词的平均频度ATF、所述候选特征词的隶属度μ计算得到的，所述平均频度ATF为所述候选特征词在预定文本类别中平均出现的次数，所述隶属度μ为所述候选特征词对所述预定文本类别的隶属度；根据确定的所述候选特征词的重要性值，从所述候选特征词中选择预定数量的特征词；所述利用评价函数FCD确定总文本中候选特征词的重要性值的步骤包括：利用对分类具有重要作用的特征在类别中的分布统计规律，定义基于平均频度、隶属度特征重要性评价函数；对于每个候选特征词，按照重要性评价函数计算其在各个类别中的重要性值；所述根据确定的所述候选特征词的重要性值，从所述候选特征词中选择预定数量的特征词的步骤包括：通过最大值方法计算其在整个数据集中的重要性值，以此选择重要性值较大的候选特征词；所述根据确定的所述候选特征词的重要性值，从所述候选特征词中选择预定数量的特征词的步骤之后还包括：通过文本表示模型，把文档用计算机容易存储和处理的方式表示；利用支持向量机学习方法，建立分类模型，实现文本分类；对分类结果进行统计，计算出在不同特征选择算法下和不同特征个数情况下得到的分类结果。