[发明专利]基于容器平台的日志聚合方法及装置在审
申请号: | 201911372664.X | 申请日: | 2019-12-27 |
公开(公告)号: | CN111190875A | 公开(公告)日: | 2020-05-22 |
发明(设计)人: | 赖新明;邓应强;舒南飞;王志刚;林文辉 | 申请(专利权)人: | 航天信息股份有限公司 |
主分类号: | G06F16/18 | 分类号: | G06F16/18;G06F16/35;G06F9/455 |
代理公司: | 北京工信联合知识产权代理有限公司 11266 | 代理人: | 姜丽楼 |
地址: | 100195 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 容器 平台 日志 聚合 方法 装置 | ||
1.一种基于容器平台的日志聚合方法,其特征在于,所述方法应用于基于容器平台实现的集群中,所述集群包括至少一个节点,所述方法包括:
采集每个节点的日志数据,压缩打包并附加标识信息后发送给每个日志处理单元;
每个日志处理单元根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据;
日志聚合单元根据待聚合的日志数据中定位标识,将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据;
对所述聚合日志数据进行分类存储以供调用访问。
2.根据权利要求1所述的方法,其特征在于,所述采集每个节点的日志数据,包括:
采集每个节点的应用级别日志数据和系统级别日志数据;
当所述节点为管理节点时,还包括采集管理节点的事件级别日志数据。
3.根据权利要求1所述的方法,其特征在于,所述压缩打包并附加标识信息后发送给每个日志处理单元,包括:
压缩打包,并附加包括采集时间戳、节点名称和所属级别的标识信息后发送给每个日志处理单元。
4.根据权利要求1所述的方法,其特征在于,所述日志处理单元的处理级别包括事件级别、应用级别以及系统级别;
相应地,所述每个日志处理单元根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据,包括:
每个日志处理单元根据所述标识信息中的所属级别,解压缩对应自身处理级别的日志数据压缩包并进行解析,得到携带有定位标识的带聚合的日志数据,所述定位标识包括应用名称以及容器运行池POD名称。
5.根据权利要求1所述的方法,其特征在于,所述将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据,包括:
将来自不同日志处理单元且属于相同应用的带聚合的日志数据进行聚合,得到携带有格式为namespaceid_resourceid_level的聚合标识的聚合日志数据。
6.一种基于容器平台的日志聚合装置,其特征在于,所述装置应用于容器平台实现的集群中,所述集群包括至少一个节点,所述装置包括:设置于每个节点中的采集单元、多个日志处理单元、日志聚合单元以及存储单元;其中,
所述采集单元,用于采集每个节点的日志数据,压缩打包并附加标识信息后发送给每个日志处理单元;
所述日志处理单元,用于根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据;
所述日志聚合单元,用于根据待聚合的日志数据中定位标识,将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据;
所述存储单元,用于对所述聚合日志数据进行分类存储以供调用访问。
7.根据权利要求6所述的装置,其特征在于,所述采集单元,用于采集每个节点的日志数据,包括:
采集每个节点的应用级别日志数据和系统级别日志数据;
当所述节点为管理节点时,还包括采集管理节点的事件级别日志数据。
8.根据权利要求6所述的装置,其特征在于,所述采集单元,用于压缩打包并附加标识信息后发送给每个日志处理单元,包括:
压缩打包,并附加包括采集时间戳、节点名称和所属级别的标识信息后发送给每个日志处理单元。
9.根据权利要求6所述的装置,其特征在于,所述日志处理单元的处理级别包括事件级别、应用级别以及系统级别;
相应地,所述日志处理单元,用于根据所述标识信息,处理对应自身处理级别的日志数据压缩包,得到待聚合的日志数据,包括:
每个日志处理单元根据所述标识信息中的所属级别,解压缩对应自身处理级别的日志数据压缩包并进行解析,得到携带有定位标识的带聚合的日志数据,所述定位标识包括应用名称以及POD名称。
10.根据权利要求6所述的装置,其特征在于,所述日志聚合单元,用于将来自不同日志处理单元且属于相同应用的待聚合的日志数据进行聚合,得到聚合日志数据,包括:
将来自不同日志处理单元且属于相同应用的带聚合的日志数据进行聚合,得到携带有格式为namespaceid_resourceid_level的聚合标识的聚合日志数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于航天信息股份有限公司,未经航天信息股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911372664.X/1.html,转载请声明来源钻瓜专利网。