[发明专利]一种基于类内类间文档频和词频统计的特征选择方法

摘要

本发明公开了一种基于类内类间文档频和词频统计的特征选择方法，综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度，构造出基于类内类间文档频和词频统计(DFCTFS)的特征选择评估函数；将训练集经过文本预处理后的原始特征空间使用本发明提出的特征选择评估函数在训练集每个类别中选取一定比例的特征词组成该类别的特征词库，而训练集的特征词库则为训练集各类别特征词库的并集。本发明提出一种基于类内类间文档频和词频统计(DFCTFS)的特征选择方法，可实现特征选择出集中分布于某类文档并在该类文档中均匀分布且频繁出现的特征词，提高中文文本分类的效果。

主权项

1.一种基于类内类间文档频和词频统计的特征选择方法，其特征在于，包括以下步骤：步骤1：训练集中的文本经过分词、去停用词后由词项表示，记为原始特征空间；输入训练集原始所有的特征词，其中原始特征空间中特征词记为tk，0≤k≤N，N为原始特征空间中特征词总数；步骤2：综合考虑特征词的文档频、词频以及特征词的类间集中度、类内分散度，构造出基于类内类间文档频和词频统计的特征选择评估函数，用于计算类内类间文档频和词频统计值DFCTFS；步骤3：依据所得原始特征空间，构造一个特征词、类别的二维矩阵，其中行代表特征词，列代表类别，矩阵中的元素为DFCTFS值；步骤4：依据训练集各类别中各特征词的DFCTFS值，对训练集每个类别中的特征词进行降序排列；步骤5：获得训练集中总类别数M以及训练集中特征词的总个数N，取一定比例的特征词，记为numWords，则各类别中选择的特征词个数num为numWords除以M；步骤6：训练集各类别中都依据步骤5中所得num值，选取该类别中按DFCTFS值降序排列后的前num个的特征词组成该类别的特征词库；步骤7：得到训练集的特征词库，即为各类别所得特征词库的并集。