[发明专利]一种基于自然语言特征提取有效告警数据的方法

权利要求书

1.一种基于自然语言特征提取有效告警数据的方法，包括局部敏感hash模块和编辑距离算法模块，其特征在于：

所述局部敏感hash算法模块包括分词模块，hash模块，加权模块，合并模块，降维模块；

所述分词模块给定一段语句，进行分词，得到有效的特征向量，然后为每一个特征向量设置1-5等5个级别的权重；

所述hash模块通过hash函数计算各个特征向量的hash值；

所述加权模块在hash值的基础上，给所有特征向量进行加权；

所述合并模块将各特征向量的加权结果累加，变成只有一个序列串；

所述降维模块用于得到语句的simhash值；

所述编辑距离算法模块将hash值进行相似度聚类。

2.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法，其特征在于：所述权重的等级越大，代表重要程度越重要。

3.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法，其特征在于：所述hash值为二进制数01组成的n-bit签名。

4.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法，其特征在于：所述给特征向量进行加权，为W＝hash*weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘。

5.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法，其特征在于：所述得到语句的simhash值为对于n-bit签名的累加结果，如果大于0则置1，否则置0，因此可以根据不同语句simhash的海明距离来判断它们的相似度。

6.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法，其特征在于：所述编辑距离算法模块将每条告警转成的hash值进行比较，hash值相同的聚到一起，hash值不同的用编辑距离算法进行文本相似度聚类，强调字符串的位置顺序。

7.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法，其特征在于：编辑距离是对每一个字符进行比较，所以当告警文本较大时，比较两个告警的相似度耗时较多，在用编辑距离比较以前，用simhash进行聚类，从而减少告警量，然后用正则表达式和词库模型将告警数据进行处理，将告警中有效告警内容保留其他对告警解释影响较小的内容用“*”模糊掉，相邻位置均为“*”号的地方模糊成一个“*”，从而将一个长文本变为一个短文本，再用编辑距离进行文本相似度计算。