[发明专利]一种基于自然语言特征提取有效告警数据的方法在审

专利信息
申请号: 201911095317.7 申请日: 2019-11-11
公开(公告)号: CN112784592A 公开(公告)日: 2021-05-11
发明(设计)人: 何毅鹏;葛艳芳 申请(专利权)人: 四川睿象科技有限公司
主分类号: G06F40/284 分类号: G06F40/284;G06F16/35
代理公司: 暂无信息 代理人: 暂无信息
地址: 610000 四川省成都市中国(四川)自*** 国省代码: 四川;51
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 自然语言 特征 提取 有效 告警 数据 方法
【权利要求书】:

1.一种基于自然语言特征提取有效告警数据的方法,包括局部敏感hash模块和编辑距离算法模块,其特征在于:

所述局部敏感hash算法模块包括分词模块,hash模块,加权模块,合并模块,降维模块;

所述分词模块给定一段语句,进行分词,得到有效的特征向量,然后为每一个特征向量设置1-5等5个级别的权重;

所述hash模块通过hash函数计算各个特征向量的hash值;

所述加权模块在hash值的基础上,给所有特征向量进行加权;

所述合并模块将各特征向量的加权结果累加,变成只有一个序列串;

所述降维模块用于得到语句的simhash值;

所述编辑距离算法模块将hash值进行相似度聚类。

2.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述权重的等级越大,代表重要程度越重要。

3.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述hash值为二进制数01组成的n-bit签名。

4.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述给特征向量进行加权,为W=hash*weight,且遇到1则hash值和权值正相乘,遇到0则hash值和权值负相乘。

5.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述得到语句的simhash值为对于n-bit签名的累加结果,如果大于0则置1,否则置0,因此可以根据不同语句simhash的海明距离来判断它们的相似度。

6.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:所述编辑距离算法模块将每条告警转成的hash值进行比较,hash值相同的聚到一起,hash值不同的用编辑距离算法进行文本相似度聚类,强调字符串的位置顺序。

7.根据权利要求1所述的一种基于自然语言特征提取有效告警数据的方法,其特征在于:编辑距离是对每一个字符进行比较,所以当告警文本较大时,比较两个告警的相似度耗时较多,在用编辑距离比较以前,用simhash进行聚类,从而减少告警量,然后用正则表达式和词库模型将告警数据进行处理,将告警中有效告警内容保留其他对告警解释影响较小的内容用“*”模糊掉,相邻位置均为“*”号的地方模糊成一个“*”,从而将一个长文本变为一个短文本,再用编辑距离进行文本相似度计算。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于四川睿象科技有限公司,未经四川睿象科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911095317.7/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top