[发明专利]一种基于层次增量聚类的话题检测方法及系统

摘要

本发明公开了一种基于层次增量聚类的话题检测方法及系统，属于自然语言处理领域，该方法首先通过分词器对文本信息进行分词，然后将分词根据切分顺序组成词序列，通过词语的词频—反转文件频率和哈希整数值构建文本词向量，然后计算文本词向量与每个类中心向量的相似度，通过比较相似度与预设的归类阀值，确定文本信息的归类，最后根据预设时间周期性的对每个类别的类中心向量进行聚类计算。本发明通过高阈值的增量聚类获得文本的共性特征，提高了话题聚类的精度，同时降低了程序的时间复杂度。

主权项

一种基于层次增量聚类的话题检测方法，其特征在于，包括以下步骤：获取文本信息，并采用分词器将所述文本信息划分为至少一个词语；将每个所述词语根据切分顺序组成词序列；分别确定所述词序列中每个所述词语的词频—反转文件频率和哈希整数值；根据每个词语的所述词频—反转文件频率和哈希整数值构建文本词向量；确定是否预先存储有类别的类中心向量；在确定预先存储有类别的类中心向量时，计算所述文本词向量与每个类中心向量的相似度；将每个所述相似度与预设的归类阈值进行比较，若确定存在有大于所述归类阈值的相似度时，则将大于所述归类阈值的相似度对应的类别确定为候选类集；确定出所述候选类集中最大相似度对应的类别，并将所述文本信息归类为所述最大相似度对应的类别中。