[发明专利]信息提取方法、装置、设备及存储介质在审
申请号: | 202010544848.6 | 申请日: | 2020-06-15 |
公开(公告)号: | CN111708860A | 公开(公告)日: | 2020-09-25 |
发明(设计)人: | 饶琛琳;梁玫娟 | 申请(专利权)人: | 北京优特捷信息技术有限公司 |
主分类号: | G06F16/31 | 分类号: | G06F16/31;G06F16/35 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 孟金喆 |
地址: | 100102 北京市朝阳区阜通*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 信息 提取 方法 装置 设备 存储 介质 | ||
1.一种信息提取方法,其特征在于,包括:
获取待字段提取日志;
确定与所述待字段提取日志匹配的目标日志格式;
针对所述待字段提取日志,根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值;其中,所述字段提取模板是通过日志聚类训练确定的。
2.根据权利要求1所述的方法,其特征在于,所述字段提取模板包括:参数标注位信息和至少一个正则表达片段;其中,所述正则表达片段用于对所述待字段提取日志进行解析,所述参数标注位信息用于确定所述待字段提取日志中符合预设格式的字段的参数信息。
3.根据权利要求2所述的方法,其特征在于,在确定与所述待字段提取日志匹配的目标日志格式之前,还包括:
采用日志聚类算法对日志样本集合进行聚类处理,确定至少一个日志格式,并得到与每个日志格式对应的模板日志文本;其中,所述模板日志文本中包括时间戳、固定文本和可变参数文本;
分别针对与每个日志格式对应的各个日志样本,进行预设的参数标注,确定与每个日志格式对应的参数标注位信息;
确定与每个所述模板日志文本分别对应的至少一个正则表达片段,所述正则表达片段由一个可变参数文本以及所述可变参数文本前后位置的固定文本构成。
4.根据权利要求3所述的方法,其特征在于,在采用日志聚类算法对日志样本集合进行聚类处理之前,还包括:
确定所述日志样本集合的每个日志样本中符合预设数据种类的目标参数;
使用与每个所述预设数据种类分别对应的预设替代字符对匹配的目标参数进行替换。
5.根据权利要求3所述的方法,其特征在于,在采用日志聚类算法对日志样本集合进行聚类处理,确定至少一个日志格式之后,还包括:
根据所述至少一个日志格式构建日志格式树;
对应的,确定与所述待字段提取日志匹配的目标日志格式,包括:
遍历所述日志格式树,确定与所述待字段提取日志匹配的目标日志格式。
6.根据权利要求1所述的方法,其特征在于,确定与所述待字段提取日志匹配的目标日志格式,包括:
在确定不存在与所述待字段提取日志对应的自定义解析规则时,确定与所述待字段提取日志匹配的目标日志格式。
7.根据权利要求6所述的方法,其特征在于,还包括:
在确定存在与所述待字段提取日志对应的自定义解析规则时,根据所述自定义解析规则对所述待字段提取日志进行字段提取。
8.一种信息提取装置,其特征在于,包括:
日志获取模块,设置为获取待字段提取日志;
日志格式确定模块,设置为确定与所述待字段提取日志匹配的目标日志格式;
字段提取模块,设置为针对所述待字段提取日志,根据与所述目标日志格式匹配的字段提取模板提取符合预设格式的字段名和字段值;其中,所述字段提取模板是通过日志聚类训练确定的。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京优特捷信息技术有限公司,未经北京优特捷信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010544848.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种低轨卫星系统资源调度方法
- 下一篇:一种文件数据传输储存方法
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置