[发明专利]基于CHI和分类别关联规则算法的短文本分类方法

摘要

本发明一种基于CHI和分类别关联规则算法的短文本分类方法，将不同类别文本的频繁词集出现频繁度进行了度量，引入了类别频繁因子（LFF），通过LFF合理分配了各文本类别的最小支持度阈值，克服了传统的FP‑Growth算法挖掘出的频繁词集类别出现偏斜的情况，同时在对频繁词集进行类别倾向判断上，采取了CHI检验算法去衡量特征词与类别之间的关联程度，而非采取简单的词语频率统计去衡量，避免了人工设参和实验确定最佳参数的步骤，增强了分类系统的可控制性。同时还提出了基于Hadoop/MapReduce大数据计算平台的并行特征扩展短文本分类算法，对类别频繁因子的计算和特征扩展方法进行了MapReduce并行化设计，提升了短文本分类准确率以及分类效率，提高了系统的可控性。

主权项

1.一种基于CHI和分类别关联规则算法的短文本分类方法，包括步骤1：从互联网中采集短文本数据，并对其进行预处理，将处理后的文本数据分为训练集和测试集，并存放到文本数据库；步骤2：同时从互联网中采集各领域的长文本语料，用以构建特征扩展知识库，并对其进行预处理，存放到文本数据库；其特征在于还包括以下步骤：步骤3：根据长文本语料运用关联规则FP‑Growth算法，进行初始频繁词集挖掘，以此计算各个类别文本的频繁程度，即类别频繁因子LFF；针对不同的类别进行频繁词集挖掘，构建类别频繁因子概念来衡量某个类别的频繁词集出现的频繁程度，其定义如下：首先，设定一较小的最小支持度阈值sup_min，运用关联规则FP‑Growth算法按类别挖掘出支持度大于sup_min的候选频繁词集Set_primary，其质量较差，作为计算类别频繁因子的依据；再按照支持度大小对Set_primary进行排序，从每个类别中选取其中N_base个支持度最大的候选频繁词集，取这N_base个共现词集的平均支持度作为该类别的初始类别频繁因子Frequency(c)_primary，对各类别的Frequency(c)_primary运用归一化方法进行标准化处理，得到最终的类别频繁因子Frequency(c)，式(1)中support(candidatefrequent item‑sets)_i表示Set_primary中第i个候选频繁词集的支持度值；步骤4：根据每个类别的频繁因子，取其与设定的标准最小支持度阈值support_base的乘积作为该类别的最小支持度阈值，其定义如下：support(c_i)＝Frequence(c_i)*support_base(2)再结合关联规则FP‑Growth算法，根据类别最小支持度阈值support(c_i)进行频繁词集挖掘，构建初始频繁词集合；步骤5：对初始频繁词集合Extension_KB中的所有共现特征词集FrequentWordSet中的每一个词语，采用CHI检验算法计算其与各个类别的相关性度量即所述的类别倾向，若频繁词集FrequentWordSet中出现某个词语的类别倾向与当前类别不一致，便从Extension_KB中过滤出该频繁词集，得出过滤后的最终的特征扩展背景知识库Filter_Extension_KB；步骤6：根据构建完成的特征扩展背景知识库Filter_Extension_KB，对短文本训练集和测试集进行扩展，其方法是：设原始训练集文本特征集合为text_p＝{w₁,w₂,w₃,......,w_i}，该文本所属类别设为W_i表示文本中第i个特征，对于text_p中每一个特征w_i，扫描类别对应的背景知识库Filter_Extension_KB，查找与w_i对应的频繁词集{w_i,...,w_t}，将w_t作为扩展特征加入到原始文本集中，对于测试集的扩展，由于其缺少类别标签，因此需要扫描整个Filter_Extension_KB，查找对应频繁词集；步骤7：运用信息增益特征选择算法提取出的特征词和TFIDF算法构建扩展后的训练集和测试集的向量空间模型VSM，作为输入加入到文本分类器中；步骤8：根据训练的文本分类器对测试文本进行分类评估，确定最佳特征词数量；步骤9：根据步骤4和步骤5建立基于MapReduce分布式特征扩展模型，以并行化的方式进行短文本分类中的特征扩展，并与串行算法进行性能对比，验证出并行算法的有效性。