[发明专利]基于内容特征和主题特征的文本分组聚类方法

权利要求书

1.一种基于内容特征和主题特征的文本分组聚类方法，其特征在于，包括：

提取所述文本的内容特征和主题特征；

将所述主题特征转换为二进制主题特征；

采用相同的分组算法对文本基于所述内容特征和所述二进制主题特征依次进行分组，获得层次化的文本分组结果；

对所述文本分组结果进行聚类。

2.根据权利要求1所述的方法，其特征在于，所述将所述主题特征转换为二进制主题特征，具体为：

将主题特征T_i=(w₁,w₂,...,w_m)转换为二进制主题特征T_i′=(w′₁,w′₂,...,w′_m)，

其中，θ是用于判定所述文本是否具有第i种主题上的信息的参数。φ是用于将m维的主题特征转换到二进制空间上的转换参数。

3.根据权利要求1所述的方法，其特征在于，对文本基于所述内容特征和所述二进制主题特征进行分组之前，还包括：

将所述内容特征转换为二进制空间上的第一稀疏向量，并将所述二进制主题特征转换为二进制空间上的第二稀疏向量；

采用Minhash算法对所述第一稀疏向量和第二稀疏向量进行降维处理；

对文本基于所述内容特征和所述二进制主题特征依次进行分组，包括：

对文本基于所述内容特征对应的所述第一稀疏向量和所述二进制主题特征对应的所述第二稀疏向量进行分组。

4.根据权利要求3所述的方法，其特征在于，所述对文本基于所述内容特征对应的所述第一稀疏向量和所述二进制主题特征对应的所述第二稀疏向量进行分组，包括：

采用LSH算法对文本基于所述第一稀疏向量进行相似度分组，获得基于内容特征的文本分组结果；

确定所述基于内容特征的文本分组结果中各组的中心文本；

采用所述LSH算法对所述基于内容特征的文本分组结果中各组的中心文本以及未分组的文本基于所述第二稀疏向量进行相似度分组，获得基于主题特征的文本分组结果；

确定所述基于主题特征的文本分组结果中各组的中心文本；

所述对所述文本分组结果进行聚类，包括：

对所述基于主题特征的文本分组结果中各组的中心文本进行聚类。

5.根据权利要求4所述的方法，其特征在于，所述获得基于内容特征的文本分组结果之后，还包括：

对所述基于内容特征的文本分组结果进行冗余过滤处理；

所述获得基于主题特征的文本分组结果之后，还包括：

对所述基于主题特征的文本分组结果进行冗余过滤处理。

6.根据权利要求4或5所述的方法，其特征在于，所述采用LSH算法对文本基于所述第一稀疏向量进行相似度分组，获得基于内容特征的文本分组结果之前，还包括：

采用所述LSH算法对全部文本基于所述内容特征进行相似度计算，删除重复文本；

所述采用LSH算法对文本基于所述内容特征进行相似度分组，包括：

采用LSH算法对删除重复文本后的文本基于内容特征进行相似度分组。