[发明专利]基于近邻传播的文本数据流聚类算法

权利要求书

1.一种基于近邻传播的文本数据流聚类算法，其特征是按如下步骤进行：

步骤1、对文本数据集进行降维处理，获得相应的文本向量集；

步骤1.1、利用TF-IDF法对所述文本数据集进行处理，获得所述文本数据集中的每个关键字和其频率的对应关系，记为＜key,value＞；

步骤1.2、对所述文本数据集按照字典顺序进行排序，并根据所述排序建立索引；

步骤1.3、将所述索引与所述关键字建立对应关系，从而使得每个关键字和其频率的对应关系＜key,value＞转换为每个索引与其频率的对应关系，记为文本向量集＜index,value＞；

步骤2、获得所有时刻的聚类中心：

步骤2.1定义时刻t、最大时刻t_max；并初始化t＝0；

步骤2.2、在t时刻从文本向量集＜index,value＞中获取n个文本向量，记为表示t时刻的第i个文本向量；并有

步骤2.3、将所述t时刻的n个文本向量N^(t)的权重记为表示t时刻的第i个文本向量的权重；并初始化

步骤2.4、利用式(1)获得t时刻的第i个文本向量与第j个文本向量的归一化的余弦相似度cos^(t)(i,j)，1≤j≤n：

cos(t)(i,j)=Ni(t)·Nj(t)---(1)]]>

步骤2.5、利用式(2)获得t时刻的第i个文本向量与第j个文本向量的相似度矩阵S^(t)(i,j)：

S(t)(i,j)=-(1+WNi(t)WNj(t))·1cos(t)(i,j)ifi≠j(1+1WNi(t))·s(t)i=j---(2)]]>

式(2)中，s^(t)为t时刻的参数，表示当i≠j时所获得的t时刻的所有相似度矩阵S^(t)(i,j)的中值的一半；

步骤2.6、将所述t时刻的参数s^(t)赋值给AP算法中第i个参考度P_i^(t)，采用AP算法对所述t时刻的n个文本向量N^(t)进行聚类，获得t时刻的m_t个聚类中心，记为表示t时刻的第v_t个聚类中心；并初始化γ表示吸引因子；γ∈[0,1]；1≤v_t≤m_t＜n；

步骤2.7、将t+1赋值给t；并判断t＝t_max是否成立，若成立，则执行步骤2.11；否则从所述文本向量集＜index,value＞中获得t时刻的n个文本向量

步骤2.8、将t-1时刻的m_t-1个聚类中心C^(t-1)加入到所述t时刻的n个文本向量N^(t)中，从而获得更新的n+m_t-1个文本向量

步骤2.9、将所述更新的n+m_t-1个文本向量N^(t)′作为所述t时刻的文本向量N^(t)，并返回步骤2.3-步骤2.6顺序执行；从而获得t时刻的m_t个聚类中心C^(t)；

步骤2.10；返回步2.7顺序执行；

步骤2.11；从而获得所有时刻的聚类中心；并完成所述聚类算法。

2.根据权利要求1所述的基于近邻传播的文本数据流聚类算法，其特征是，所述步骤2.4是按如下过程获得t时刻的第i个文本向量与第j个文本向量的归一化的余弦相似度cos^(t)(i,j)：

步骤2.4.1、将t时刻的第i个文本向量的索引和其对应的频率分别存入数组和中，将t时刻的第j个文本向量的索引和其对应的频率分别存入数组和中；

步骤2.4.2、定义变量ia、jb和sum；并初始化ia＝0；jb＝0；sum＝0

步骤2.4.3、判断且是否成立，若成立，则执行步骤2.4.4；否则，执行步骤2.4.10；

步骤2.4.4、判断是否成立，若成立，则执行步骤2.4.5；否则执行步骤2.4.7；

步骤2.4.5、将的值赋值给sum；

步骤2.4.6、将ia+1赋值给ia；将jb+1赋值给jb；并返回步骤2.4.3执行；

步骤2.4.7、判断是否成立，若成立，则执行步骤2.4.8；否则执行步骤2.4.9；

步骤2.4.8、将jb+1赋值给jb；并返回步骤2.4.3执行；

步骤2.4.9、将ia+1赋值给ia；并返回步骤2.4.3执行；

步骤2.4.10、将sum赋值给cos^(t)(i,j)。