[发明专利]日志文件的数据处理方法和终端设备有效
申请号: | 201810514690.0 | 申请日: | 2018-05-25 |
公开(公告)号: | CN108829345B | 公开(公告)日: | 2020-02-21 |
发明(设计)人: | 臧磊真;薛军 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F16/172;G06F16/18 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 日志 文件 数据处理 方法 终端设备 | ||
1.一种日志文件的数据处理方法,其特征在于,所述日志文件的数据写入方式为追加式写入,所述日志文件存储于目标存储器中,所述日志文件的文件空间至少包括用于存储日志数据的数据写入空间,所述方法包括:
获取待写入所述日志文件的第一日志数据;
若所述第一日志数据的大小大于所述日志文件的空闲空间的第一大小,则获取所述日志文件的空间增长阈值,其中,所述空闲空间为所述数据写入空间中除已占用空间之外的空间,所述已占用空间为已写入所述日志文件中的日志数据所占用的空间;
根据所述空间增长阈值对所述日志文件的文件空间进行空间增长以得到第二大小的所述空闲空间,并根据空间增长后的所述日志文件的文件属性生成所述日志文件的第一元数据;
将所述第一日志数据写入到所述空闲空间中,以及将所述第一元数据写入到所述目标存储器;
若在写入所述第一日志数据后的所述已占用空间的第三大小小于已占用空间上限值,则当所述第一日志数据写入到所述空闲空间之后每获取到待写入所述日志文件的第二日志数据时,执行下述操作:
若所述第二日志数据的大小小于或等于所述空闲空间的大小,则将所述第二日志数据写入到所述空闲空间中;
当内核延迟写回周期到达时,将所述第二日志数据写入所述日志文件之后生成的所述日志文件的第二元数据写入到所述目标存储器中,其中,所述内核延迟写回周期为周期性地写回数据到所述目标存储器的时间间隔;
当内核延迟写回周期未到达时,不将所述第二元数据写入到所述目标存储器中。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:
若所述已占用空间的第三大小等于或大于所述已占用空间上限值,则将所述已占用空间中的数据读出并更新到主数据库文件中,将所述日志文件截断为零长度文件。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
若所述第二日志数据的大小大于所述空闲空间的大小,则再次对所述日志文件的文件空间进行空间增长以得到第四大小的所述空闲空间,并根据空间增长后的所述日志文件的文件属性生成所述日志文件的第三元数据。
4.根据权利要求3所述的方法,其特征在于,所述获取所述日志文件的空间增长阈值包括:
获取所述日志文件的数据写入频率;
根据所述数据写入频率确定出所述日志文件的空间增长阈值。
5.根据权利要求4所述的方法,其特征在于,所述获取所述日志文件的数据写入频率包括:
获取指定时间间隔内所述日志文件的数据写入次数,并根据所述指定时间间隔和所述数据写入次数确定出数据写入频率。
6.根据权利要求5所述的方法,其特征在于,所述根据所述数据写入频率确定出所述日志文件的空间增长阈值包括:
获取所述日志文件的数据写入频率区间和空间增长阈值区间;
根据所述数据写入频率和所述数据写入频率区间确定出目标写入频率;
确定出所述目标写入频率在所述数据写入频率区间内的目标位置,并从所述空间增长阈值区间中获取所述目标位置对应的目标空间阈值;
根据所述目标空间阈值和所述第一日志数据的大小确定出空间增长阈值。
7.根据权利要求1所述的方法,其特征在于,所述获取所述日志文件的空间增长阈值包括:
获取所述日志文件的历史空闲空间增长记录,其中,所述历史空闲空间增长记录中包括空闲空间增长次数N和N次空闲空间增长对应的N个历史空间增长阈值;
根据所述N个历史空间增长阈值确定出空间增长阈值。
8.根据权利要求6或7所述的方法,其特征在于,所述根据所述空间增长阈值对所述空闲空间进行空间增长以得到第二大小的空闲空间包括:
为所述日志文件分配与所述空间增长阈值对应大小的源增长空间,并对所述源增长空间进行预处理,以得到处于可写入状态的目标增长空间;
将所述第一大小的空闲空间和所述目标增长空间合并为所述第二大小的空闲空间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810514690.0/1.html,转载请声明来源钻瓜专利网。