[发明专利]一种基于术语频率和卡方统计的文本分类特征选择方法

权利要求书

1.一种基于术语频率和卡方统计的文本分类特征选择方法，其特征在于，包括如下步骤：

步骤(1)，对语料库数据集进行预处理；

步骤(2)，对经过步骤(1)处理得到的数据集中的对象根据向量空间模型均表示为向量形式，得到数据对象向量集合D＝{d₁,d₂,...d_N}，类标签集合C＝{c₁,c₂,...c_|C|}，d_j表示语料库数据集中的一个文档(1≤j≤N)，c_k表示语料库数据集中的一个类，1≤k≤|C|，N表示语料库数据集中文档的数量，|C|表示语料库数据集中类别的数量；

步骤(3)，计算术语t_i在文本分类c_k中的最大术语频率和平均术语频率

步骤(4)，通过下式计算术语t_i在c_k类中的分布差异度:

V(ti,ck)=1Nk-1Σj=1Nk(tfij-tf‾i)2+α]]>

其中，N_k表示c_k类中文档的数量，tf_ij为术语频率，α表示一个很小的实数；

步骤(5)，利用步骤(3)和步骤(4)得到的最大术语频率及分布差异度，通过下式计算该术语t_i在c_k类中的权重：

ICHI(ti,ck)=log(1+tfimax)×χ2(ti,ck)V(ti,ck),]]>

其中，

χ2(ti,ck)=N×(AD-CB)2(A+C)×(B+D)×(A+B)×(C+D);]]>

上式中，A表示包含术语t_i并且属于c_k类的文档数量；B表示包含术语t_i但不属于c_k类的文档数量；C表示不包含术语t_i但属于C_k类的文档数量；D表示不包含术语t_i并且不属于c_k类的文档数量；

步骤(6)，计算得到该术语t_i在每个类中的权重，通过下式取权重最大值为术语t_i在语料库数据集中的权重：

ICHI(ti)=maxk=1|C|{ICHI(ti,ck)};]]>

步骤(7)，计算得到每一个术语在语料库数据集中的权重，并降序排列，选出值最大的前N个术语作为特征。