[发明专利]日志采集方法、装置及存储介质在审
| 申请号： | 201810821316.5 | 申请日： | 2018-07-24 |
| 公开（公告）号： | CN109032910A | 公开（公告）日： | 2018-12-18 |
| 发明（设计）人： | 高淼淼 | 申请（专利权）人： | 北京百度网讯科技有限公司 |
| 主分类号： | G06F11/34 | 分类号： | G06F11/34 |
| 代理公司： | 北京市铸成律师事务所 11313 | 代理人： | 王珺;徐瑞红 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 存储位置信息 缓存通道 日志采集 日志数据 采集源 日志 计算机可读存储介质 采集 读取 磁盘目录 磁盘容量 存储介质 日志文件 有效数据 转存 吞吐量 保存 节约 重复 | ||
1.一种日志采集方法，其特征在于，包括：
采集源端获取日志数据的存储位置信息；
采集源端将所述日志数据的存储位置信息转存到缓存通道中；
消费端根据所述缓存通道中的存储位置信息读取对应的日志数据。
2.根据权利要求1所述的方法，其特征在于，还包括：
消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。
3.根据权利要求2所述的方法，其特征在于，所述存储位置信息包括偏移量信息，采集源端将所述日志数据的存储位置信息转存到缓存通道中，包括：
采集源端将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；
采集源端将所述事务数据包转存到缓存通道中。
4.根据权利要求3所述的方法，其特征在于，消费端根据所述缓存通道中的存储位置信息读取对应的日志数据，包括：
消费端根据所述缓存通道中的偏移量信息，读取对应的日志数据。
5.根据权利要求4所述的方法，其特征在于，消费端提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中，包括：
消费端提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。
6.根据权利要求3至5中任一项所述的方法，其特征在于，所述偏移量信息包括文件号、文件游标和文件路径。
7.根据权利要求3至5中任一项所述的方法，其特征在于，还包括：
在获取日志数据的存储位置信息之前，采集源端从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。
8.一种日志采集装置，其特征在于，包括：
采集源端，用于获取日志数据的存储位置信息；
所述采集源端还用于：将所述日志数据的存储位置信息转存到缓存通道中；
消费端，用于：根据所述缓存通道中的存储位置信息读取对应的日志数据。
9.根据权利要求8所述的装置，其特征在于，所述消费端还用于：
提交已消费的所述日志数据时，将已消费的所述日志数据的存储位置信息保存到位置信息文件中。
10.根据权利要求9所述的装置，其特征在于，所述存储位置信息包括偏移量信息，所述采集源端还用于：
将日志数据的偏移量信息写入事务数据包的数据报头中，所述事务数据包是用于传输日志数据的数据包；
将所述事务数据包转存到缓存通道中。
11.根据权利要求10所述的装置，其特征在于，所述消费端还用于：根据所述缓存通道中的偏移量信息，读取对应的日志数据。
12.根据权利要求11所述的装置，其特征在于，所述消费端还用于：
提交已消费的所述日志数据时，将已消费的所述日志数据的偏移量信息保存到位置信息文件中。
13.根据权利要求10至12中任一项所述的装置，其特征在于，所述偏移量信息包括文件号、文件游标和文件路径。
14.根据权利要求10至12中任一项所述的装置，其特征在于，所述采集源端还用于：
在获取日志数据的存储位置信息之前，从所述位置信息文件中读取所述偏移量信息，从所述偏移量信息中获取日志数据的采集位置。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司，未经北京百度网讯科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201810821316.5/1.html，转载请声明来源钻瓜专利网。
