[发明专利]一种基于杰卡德距离的实时文本聚类方法

权利要求书

1.一种基于杰卡德距离的实时文本聚类方法，其特征在于，具体包括以下步骤：

S1：文本相似度计算：从待聚类数据中选取文本a和文本b，计算文本a、文本b的杰卡德距离；分别从文本a和文本b中抽取关键词Sa和Sb，再计算两个文本对应关键词的杰卡德距离即为两个文本之间的距离；

S2：根据经验验证再结合文本相似度，设定层次聚类阈值；

S3：层次聚类：构建聚类模型，依次读取新加载数据，计算每条数据和每个类之间的平均距离，并与阈值比较，确定是否聚到该类还是单独划分一类，不断迭代更新；

S4：将S3的聚类结果以更新聚类标识的形式写入Hbase和ES数据库，ES数据库中具有相同聚类标识的数据被聚为一类。

2.根据权利要求1所述的一种基于杰卡德距离的实时文本聚类方法，其特征在于，S1中的杰卡德距离表示为：其中，0.01为平滑系数，|A|＝Sa∩Sb，并集|B|＝Sa∪Sb。

3.根据权利要求1所述的一种基于杰卡德距离的实时文本聚类方法，其特征在于，S3中聚类模型的具体构建步骤包括：抽取待聚类账号下面的24小时的数据内容，将初始时每条文本数据视为单独的类，计算每两个类之间的杰卡德距离，距离小于设定阈值的聚为一类，迭代计算直至类的个数不再变化，将聚类结果作为聚类模型。

4.根据权利要求3所述的一种基于杰卡德距离的实时文本聚类方法，其特征在于，S3中每条数据和每个类之间的平均距离＝每条数据和每个类中的数据距离÷类里面的数据总数，若某条数据到某一类的平均距离最小且小于阈值，就将这一条数据聚到该类；若某条数据到所有类的平均距离均大于阈值，则单独划分一类。

5.根据权利要求1所述的一种基于杰卡德距离的实时文本聚类方法，其特征在于，S3在不断迭代更新聚类的过程中，聚类个数不大于500，每个类最少包含20条数据，最多存放1200条数据；当聚类个数或者类里面的数据条数超过限制，选取长时间没有更新的类，删除这个类或者类里面的数据。

6.根据权利要求1-5任意一项所述的一种基于杰卡德距离的实时文本聚类方法，其特征在于，待聚类数据包括新闻数据、微信公众号数据、微博数据以及贴吧数据；抽取的关键词数量为35。

7.根据权利要求6所述的一种基于杰卡德距离的实时文本聚类方法，其特征在于，S2中设定的层次聚类阈值为0.88。