[发明专利]数据库日志的处理方法及装置有效
申请号: | 201410709417.5 | 申请日: | 2014-11-27 |
公开(公告)号: | CN104391954B | 公开(公告)日: | 2019-04-09 |
发明(设计)人: | 戴飞;张同欣;刘凯 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/958 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 吴贵明;张永明 |
地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据库 日志 处理 方法 装置 | ||
1.一种数据库日志的处理方法,其特征在于,包括:
获取日志文件;
读取所述日志文件的分割规则;
按照所述分割规则对所述日志文件进行分割,得到至少两个预处理日志文件;
将所述至少两个预处理日志文件依次写入预处理数据库;
其中,所述将所述至少两个预处理日志文件依次写入预处理数据库的步骤包括:
读取所述日志文件的文件属性,其中,所述文件属性至少包括:日志记录起始时间和日志记录终止时间;
根据所述文件属性,修改所述预处理数据库的时间配置信息;
根据所述时间配置信息,读取与所述时间配置信息对应的所述预处理日志文件;
依次将与所述时间配置信息对应的所述预处理日志文件写入所述预处理数据库。
2.根据权利要求1所述的方法,其特征在于,在将所述至少两个预处理日志文件依次写入预处理数据库之后,所述方法还包括:
根据所述时间配置信息,计算得到分析处理时段;
按照所述分析处理时段,读取所述预处理数据库中的所述预处理日志文件;
分析所述预处理日志文件,得到标准日志数据表;
将所述标准日志数据表写入日志数据库。
3.根据权利要求2所述的方法,其特征在于,所述分析所述预处理日志文件,得到标准日志数据表的步骤包括:
将所述预处理日志文件的日志内容进行抽取,得到目标数据;
根据预先设置的目标数据类型,将所述目标数据转换为目标数据类型得到处理结果;
汇总所述处理结果,生成标准日志数据表。
4.根据权利要求2所述的方法,其特征在于,在所述读取对日志文件的分割规则之前,所述方法包括:
获取日志文件的容量大小;
读取预先设置的容量阈值;
根据所述日志文件的容量大小和所述容量阈值,判断是否对所述日志文件进行分割;
其中,当所述日志文件的容量大于所述容量阈值时,确定对所述日志文件进行分割处理;
当所述日志文件的容量小于等于所述容量阈值时,确定不对所述日志文件进行分割处理。
5.根据权利要求1至4中任意一项所述的方法,其特征在于,所述分割规则至少包括:固定份数分割法、固定容量分割法。
6.根据权利要求5所述的方法,其特征在于,当所述分割规则为固定份数分割法时,所述按照所述分割规则对所述日志文件进行分割,得到至少两个预处理日志文件的步骤包括:
读取预先设置的分割份数;
按照所述分割份数平均分割所述日志文件,得到固定份数的所述预处理日志文件。
7.根据权利要求5所述的方法,其特征在于,当所述分割规则为固定容量分割法时,所述按照所述分割规则对所述日志文件进行分割,得到至少两个预处理日志文件的步骤包括:
读取预先设置的分割容量;
按照所述分割容量对所述日志文件进行分割,得到若干容量相同的所述预处理日志文件。
8.一种数据库日志的处理装置,其特征在于,包括:
第一获取模块,用于获取日志文件;
第一读取模块,用于读取所述日志文件的分割规则;
分割模块,用于按照所述分割规则对所述日志文件进行分割,得到至少两个预处理日志文件;
第一存储模块,用于将所述至少两个预处理日志文件依次写入预处理数据库;
其中,所述装置还包括:
计算模块,用于根据时间配置信息,计算得到分析处理时段;
第二读取模块,用于按照所述分析处理时段,读取所述预处理数据库中的所述预处理日志文件;
处理模块,用于分析所述预处理日志文件,得到标准日志数据表;
第二存储模块,用于将所述标准日志数据表写入日志数据库。
9.根据权利要求8所述的装置,其特征在于,所述装置还包括:
第二获取模块,用于获取日志文件的容量大小;
第三读取模块,用于读取预先设置的容量阈值,其中,所述容量阈值用于判断所述日志文件的大小;
判断模块,用于根据所述日志文件的容量大小和所述容量阈值,判断是否对所述日志文件进行分割;
其中,当所述日志文件的容量大于所述容量阈值时,确定对所述日志文件进行分割处理;
当所述日志文件的容量小于等于所述容量阈值时,确定不对所述日志文件进行分割处理。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410709417.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于深度学习的典型车标搜索方法
- 下一篇:海量GIS数据实时处理方法及系统