[发明专利]日志采集方法、装置及存储介质在审
申请号: | 201810821316.5 | 申请日: | 2018-07-24 |
公开(公告)号: | CN109032910A | 公开(公告)日: | 2018-12-18 |
发明(设计)人: | 高淼淼 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F11/34 | 分类号: | G06F11/34 |
代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 王珺;徐瑞红 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 存储位置信息 缓存通道 日志采集 日志数据 采集源 日志 计算机可读存储介质 采集 读取 磁盘目录 磁盘容量 存储介质 日志文件 有效数据 转存 吞吐量 保存 节约 重复 | ||
1.一种日志采集方法,其特征在于,包括:
采集源端获取日志数据的存储位置信息;
采集源端将所述日志数据的存储位置信息转存到缓存通道中;
消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。
2.根据权利要求1所述的方法,其特征在于,还包括:
消费端提交已消费的所述日志数据时,将已消费的所述日志数据的存储位置信息保存到位置信息文件中。
3.根据权利要求2所述的方法,其特征在于,所述存储位置信息包括偏移量信息,采集源端将所述日志数据的存储位置信息转存到缓存通道中,包括:
采集源端将日志数据的偏移量信息写入事务数据包的数据报头中,所述事务数据包是用于传输日志数据的数据包;
采集源端将所述事务数据包转存到缓存通道中。
4.根据权利要求3所述的方法,其特征在于,消费端根据所述缓存通道中的存储位置信息读取对应的日志数据,包括:
消费端根据所述缓存通道中的偏移量信息,读取对应的日志数据。
5.根据权利要求4所述的方法,其特征在于,消费端提交已消费的所述日志数据时,将已消费的所述日志数据的存储位置信息保存到位置信息文件中,包括:
消费端提交已消费的所述日志数据时,将已消费的所述日志数据的偏移量信息保存到位置信息文件中。
6.根据权利要求3至5中任一项所述的方法,其特征在于,所述偏移量信息包括文件号、文件游标和文件路径。
7.根据权利要求3至5中任一项所述的方法,其特征在于,还包括:
在获取日志数据的存储位置信息之前,采集源端从所述位置信息文件中读取所述偏移量信息,从所述偏移量信息中获取日志数据的采集位置。
8.一种日志采集装置,其特征在于,包括:
采集源端,用于获取日志数据的存储位置信息;
所述采集源端还用于:将所述日志数据的存储位置信息转存到缓存通道中;
消费端,用于:根据所述缓存通道中的存储位置信息读取对应的日志数据。
9.根据权利要求8所述的装置,其特征在于,所述消费端还用于:
提交已消费的所述日志数据时,将已消费的所述日志数据的存储位置信息保存到位置信息文件中。
10.根据权利要求9所述的装置,其特征在于,所述存储位置信息包括偏移量信息,所述采集源端还用于:
将日志数据的偏移量信息写入事务数据包的数据报头中,所述事务数据包是用于传输日志数据的数据包;
将所述事务数据包转存到缓存通道中。
11.根据权利要求10所述的装置,其特征在于,所述消费端还用于:根据所述缓存通道中的偏移量信息,读取对应的日志数据。
12.根据权利要求11所述的装置,其特征在于,所述消费端还用于:
提交已消费的所述日志数据时,将已消费的所述日志数据的偏移量信息保存到位置信息文件中。
13.根据权利要求10至12中任一项所述的装置,其特征在于,所述偏移量信息包括文件号、文件游标和文件路径。
14.根据权利要求10至12中任一项所述的装置,其特征在于,所述采集源端还用于:
在获取日志数据的存储位置信息之前,从所述位置信息文件中读取所述偏移量信息,从所述偏移量信息中获取日志数据的采集位置。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810821316.5/1.html,转载请声明来源钻瓜专利网。