[发明专利]一种基于混合聚类的文本聚类智能评估方法

权利要求书

1.一种基于混合聚类的文本聚类智能评估方法，其特征在于，包括下述步骤：

获取原始文本集X，并对文本集X进行数据预处理，得到原始文本集内所有特征词D；

对文本特征进行预选择，设定删除比例，删除文本集中高频和低频的特征词，得到预选择后的特征子集D′；

采用TF-IDF方法计算原始文本集X中所有文本对应权重，并将原始文本集X中的所有文本表示成特征子集D′上的向量；

对特征子集D′中的每个特征词进行二进制编码，对文本特征预选择后的特征词生成矩阵；

设定适应值函数，对特征子集D′进行特征再选择，选取适应值最优的全局最优个体；

计算适应值函数，计算种群中个体的各自适应值，将种群全局最优解初始化为适应值最优的个体的位置；所述计算适应值函数，表示为：

其中，m个样本为随机选取，SIM为余弦相似度；

判定当前迭代次数满足小于设置的阈值与最大迭代次数的乘积的条件时，采用偏向全局搜索能力的位置更新公式；

判定当前迭代次数不满足小于设置的阈值与最大迭代次数的乘积的条件时，采用偏向局部搜索能力的位置更新公式；

对全局最优个体进行解码，得到最终特征子集T；

将原始文本集X的所有文本采用TF-IDF方法表示成T上的向量；

对向量化后的文本集进行归一化、标准化，采用混合聚类方法进行文本聚类，所述混合聚类方法基于球面二分K-means聚类算法和球面Kmeans++聚类算法，比较两种聚类算法结果的平方误差和的大小，选择平方误差和结果相对较小的作为最终聚类结果；

所述球面二分K-means聚类算法的具体步骤包括：

标准化所有样本向量，初始化簇表，所有样本点组成一个簇，每次从簇表中取出目标函数余弦距离误差之和SCE的值最大的一个簇，对所选取的簇采用SKM算法进行聚类，判断簇表当前簇的个数，采用SKM算法进行聚类直至簇表内的簇达到设定聚类数目N；

所述球面Kmeans++聚类算法的具体步骤包括：

进行文本数据初始化，标准化输入模型的所有样本向量；

随机选取一个样本作为聚类中心，计算每个样本与已有聚类中心的最短距离，作为计算该样本成为下一个聚类中心的概率，最后用轮盘法选择下一中心，直至聚类中心数目达到设定的聚类数目N；

计算每个样本与N个聚类中心之间的聚类并将其划分在距离最小的类别中；

每一类重新计算聚类中心，判断聚类中心是否变化，若聚类中心发生变化，重新计算每个样本与N个聚类中心之间的聚类并将其划分在距离最小的类别中，否则输出最终聚类结果；

为聚类结果中的每个簇生成词云，以及为每个文本生成特征标签。

2.根据权利要求1所述的基于混合聚类的文本聚类智能评估方法，其特征在于，所述对特征子集D′中的每个特征词进行二进制编码，对文本特征预选择后的特征词生成矩阵，具体步骤包括：

所述矩阵为Q*M矩阵，矩阵的每个位置随机生成0或1，对预选择后的特征词计算并集；

其中，Q表示粒子群种群大小个数，M表示特征词数目，1表示该位置上特征词被选中，0表示该位置上特征词未被选中。

3.根据权利要求1所述的基于混合聚类的文本聚类智能评估方法，其特征在于，所述设定适应值函数，对个体选取的特征词求并集。