[发明专利]基于近邻传播的文本数据流聚类算法

摘要

本发明公开了一种基于近邻传播的文本数据流聚类算法，其特征是按如下步骤进行1对文本数据集进行降维处理，获得相应的文本向量集；2获得所有时刻的聚类中心，并完成聚类算法。本发明不需要预先指定聚类个数，就能提高算法的准确率和鲁棒性，从而满足解决实际问题的需要。

主权项

一种基于近邻传播的文本数据流聚类算法，其特征是按如下步骤进行：步骤1、对文本数据集进行降维处理，获得相应的文本向量集；步骤1.1、利用TF‑IDF法对所述文本数据集进行处理，获得所述文本数据集中的每个关键字和其频率的对应关系，记为＜key,value＞；步骤1.2、对所述文本数据集按照字典顺序进行排序，并根据所述排序建立索引；步骤1.3、将所述索引与所述关键字建立对应关系，从而使得每个关键字和其频率的对应关系＜key,value＞转换为每个索引与其频率的对应关系，记为文本向量集＜index,value＞；步骤2、获得所有时刻的聚类中心：步骤2.1定义时刻t、最大时刻tmax；并初始化t＝0；步骤2.2、在t时刻从文本向量集＜index,value＞中获取n个文本向量，记为表示t时刻的第i个文本向量；并有步骤2.3、将所述t时刻的n个文本向量N(t)的权重记为表示t时刻的第i个文本向量的权重；并初始化步骤2.4、利用式(1)获得t时刻的第i个文本向量与第j个文本向量的归一化的余弦相似度cos(t)(i,j)，1≤j≤n：cos(t)(i,j)=Ni(t)·Nj(t)---(1)]]>步骤2.5、利用式(2)获得t时刻的第i个文本向量与第j个文本向量的相似度矩阵S(t)(i,j)：S(t)(i,j)=-(1+WNi(t)WNj(t))·1cos(t)(i,j)ifi≠j(1+1WNi(t))·s(t)i=j---(2)]]>式(2)中，s(t)为t时刻的参数，表示当i≠j时所获得的t时刻的所有相似度矩阵S(t)(i,j)的中值的一半；步骤2.6、将所述t时刻的参数s(t)赋值给AP算法中第i个参考度Pi(t)，采用AP算法对所述t时刻的n个文本向量N(t)进行聚类，获得t时刻的mt个聚类中心，记为表示t时刻的第vt个聚类中心；并初始化γ表示吸引因子；γ∈[0,1]；1≤vt≤mt＜n；步骤2.7、将t+1赋值给t；并判断t＝tmax是否成立，若成立，则执行步骤2.11；否则从所述文本向量集＜index,value＞中获得t时刻的n个文本向量步骤2.8、将t‑1时刻的mt‑1个聚类中心C(t‑1)加入到所述t时刻的n个文本向量N(t)中，从而获得更新的n+mt‑1个文本向量步骤2.9、将所述更新的n+mt‑1个文本向量N(t)′作为所述t时刻的文本向量N(t)，并返回步骤2.3‑步骤2.6顺序执行；从而获得t时刻的mt个聚类中心C(t)；步骤2.10；返回步2.7顺序执行；步骤2.11；从而获得所有时刻的聚类中心；并完成所述聚类算法。