[发明专利]粒子群优化的文本特征选择方法

摘要

本发明公开了一种基于粒子群优化的文本特征选择方法，该方法是为了解决采用空间向量模型表示文本出现文本特征向量高维且稀疏的问题，本发明将局部搜索策略嵌入到粒子群优化算法中选择出不相关和显著的特征子集，通过考虑粒子群的相关信息来指导粒子群算法在搜索过程中选择不同的特征，从而从原始特征中选择出更加有利于分类准确率的特征。本发明能够从庞大文本词集中选择出最有利于文本表示的特征子集，从而能为文本的分类、文本处理打下良好的基础。

主权项

1.一种粒子群优化的文本特征选择方法，其特征在于，该方法包括以下具体步骤：1)用分词工具将文本集进行分词，将分词后的词语组成一个词集，作为文本集的原始特征，用T来表示特征集合，集合T中特征的个数为n，即T＝{t₁，t₂，...，t_n}；2)首先，利用式(1)计算特征t_i同其他特征之间的平均关系距离R_i，其中p(t_i，t_j)表示t_i，t_j共现的概率，即t_i，t_j共同出现在句子中的次数比上文本集所有词语的个数，p(t_i)表示特征t_i出现的概率，即特征t_i出现的次数同文本集所有词语数量的比值；p(t_j)表示特征t_j出现的概率，即特征t_j出现的次数同文本集所有词语数量的比值；R_i值越高表明该特征同其他特征的关系越大，R_i值越低表明该特征同其他特征越有区别；求得所有特征的R值后，将所有特征按照R值大小进行升序排序，排序后的特征前一半放入不相似组D，后一半放入相似组S中；3)设置总迭代次数iterations，并用k记录当前的迭代次数，测试随机生成数个二进制的粒子x即粒子的位置，并初始化每个粒子初速度v_i，用x_i和v_i表示为第i个粒子的位置和速度，且都为m维的向量，每个维度的值都是介于(0，1)的随机数；4)根据式(2)来更新粒子的速度，并对更新之后的粒子速度每个维度值限定在(a，b)，a和b是自定义参数，具体做法是用v_id表示v_i的第d维的值，若v_id＞b，则令v_id＝b，若v_id＜a，则令v_id＝a，其他情况v_id不变；其中，用表示每个粒子自身经历过的最佳位置，表示种群粒子经历过的最佳位置，c₁和c₂是学习因子；r₁和r₂是[0，1]之间的随机数；由式(3)来更新粒子的位置，并对粒子每个维度值进行改变，具体做法是首先利用式(4)计算s(v_id)，s(v_id)表示一个函数，其中e为自然常数，表示e的‑v_id次方，然后s(v_id)同随机数rand比较，若s(v_id)＞rand，则将x_id＝1，否则设为0，这里的x_id表示粒子x_i第d维的值；其中rand是随机初始化的一个值；x_i＝x_i+v_i    (3)5)根据步骤4)，得到粒子x_i位置的每个维度值为0或1；由于粒子x_i每个维度与特征集合T的特征的对应，根据x_i的维度值为1的位置，得到特征子集T′，根据相似特征集合S和不相似特征集D，将T′划分为不相似特征子集D′，以及相似特征子集S′；对粒子中的相似特征和不相似特征的数量进行控制，定义参数α，令n_D′＝α·n，n_S′＝(1‑α)n，n_D′为不相似特征子集D′特征个数的下限，n_S′是相似特征子集S′特征个数的上限；当D′中特征的个数小于n_D′时，随机挑选D中的特征到D′，直到D′中个数达到n_D′，并更新x_i，即将x_i中对应的维度值修改为1；同理，当S′中特征的个数大于n_S′时，随机S′中特征剔除，直到S′中个数达到n_S′，并更新x_i，即将x_i中对应的维度值修改为0；由上操作，得到更新之后的x_i，以及更新之后的T′；6)利用x_i所表示特征子集集合T′，用空间向量模型表示文本训练KNN分类器，并计算出分类的准确率将特征选择的适应度函数定义为文本分类的准确率：其中，N表示测试文本集中包含的总样本数，n_acc正确分类的测试文本数；7)利用步骤6)，根据和计算粒子所表示的特征子集用于分类的准确率f_i^best以及8)对和进行更新；如果f_i＞f_i^best，则如果则9)判断当前的迭代次数k是不是小于iteration，若是则跳转到步骤4)，否则结束，并输出10)根据中位置的特征所组成的集合得到最优特征子集。