[发明专利]一种基于自然语言特征提取有效告警数据的方法在审
申请号: | 201911095317.7 | 申请日: | 2019-11-11 |
公开(公告)号: | CN112784592A | 公开(公告)日: | 2021-05-11 |
发明(设计)人: | 何毅鹏;葛艳芳 | 申请(专利权)人: | 四川睿象科技有限公司 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F16/35 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 610000 四川省成都市中国(四川)自*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 自然语言 特征 提取 有效 告警 数据 方法 | ||
1.一种基于自然语言特征提取有效告警数据的方法,包括局部敏感hash模块和编辑距离算法模块,其特征在于:
所述局部敏感hash算法模块包括分词模块,hash模块,加权模块,合并模块,降维模块;
所述分词模块给定一段语句,进行分词,得到有效的特征向量,然后为每一个特征向量设置1-5等5个级别的权重;
所述hash模块通过hash函数计算各个特征向量的hash值;
所述加权模块在hash值的基础上,给所有特征向量进行加权;
所述合并模块将各特征向量的加权结果累加,变成只有一个序列串;
所述降维模块用于得到语句的simhash值;
所述编辑距离算法模块将hash值进行相似度聚类。
2.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述权重的等级越大,代表重要程度越重要。
3.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述hash值为二进制数01组成的n-bit签名。
4.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述给特征向量进行加权,为W=hash*weight,且遇到1则hash值和权值正相乘,遇到0则hash值和权值负相乘。
5.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述得到语句的simhash值为对于n-bit签名的累加结果,如果大于0则置1,否则置0,因此可以根据不同语句simhash的海明距离来判断它们的相似度。
6.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述编辑距离算法模块将每条告警转成的hash值进行比较,hash值相同的聚到一起,hash值不同的用编辑距离算法进行文本相似度聚类,强调字符串的位置顺序。
7.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:编辑距离是对每一个字符进行比较,所以当告警文本较大时,比较两个告警的相似度耗时较多,在用编辑距离比较以前,用simhash进行聚类,从而减少告警量,然后用正则表达式和词库模型将告警数据进行处理,将告警中有效告警内容保留其他对告警解释影响较小的内容用“*”模糊掉,相邻位置均为“*”号的地方模糊成一个“*”,从而将一个长文本变为一个短文本,再用编辑距离进行文本相似度计算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川睿象科技有限公司,未经四川睿象科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911095317.7/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种复合肥生产用冷却设备
- 下一篇:一种环境污染治理用土壤样本采集装置