[发明专利]一种物联网云容器日志收集方法及装置

说明书

本发明公开了一种物联网云容器日志收集方法及装置，该方法包括监听消息队列模块中应用的第一主题获取应用的日志数据，将日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据，确定内存中是否存储应用的日志规则，若是，则依据日志规则对标准格式的日志数据进行处理。通过每种应用单独配置的日志规则来对标准格式的日志进行清洗处理，能够降低日志存储的错误率，提高日志清洗的效率。

技术领域

本发明涉及物联网技术领域，尤其涉及一种物联网云容器日志收集方法及装置。

背景技术

随着容器技术的推广，Kubernetes(K8s)目前已经成为容器云的代名词，越来越多的公司也选择将自己的微服务运行在购买的公有云容器服务或私有容器云上。业务应用借助Kubernetes实现了动态扩缩容、灰度升级等高级特性，但由于容器的轻量化，同一个应用在多台物理节点上可能同时存在成千上万的容器，其产生的海量日志文件如何及时收集，成为一个难题；另外目前商业机会瞬息万变，线上实时用户画像和用户行为预测不但要求对海量日志分析实时化，同时要求每种应用能有实时根据用户分析规则的变化而实时对应起效的日志清洗规则，以支撑商业决策的快速调整。

目前市面上有很多容器切分清洗处理系统，对于不同应用可能由于业务不同导致对于日志清洗规则不同的场景(不同应用日志一般会有不同的字段，且对字段的筛选要求一般不会全局统一。如某IOT(Internet of Things，物联网)应用只接收分析空调在气温20℃-40℃时上传的温度变化数据，对应规则要求temperature(温度)字段大于20且小于40；而另一款IOT应用只接收分析几种冰箱用户的每天开门次数，对应的规则会要求type(类型)必须为那几种冰箱)，业内普遍的做法是将不同日志清洗规则硬编码写死在流式引擎或写入Logstash(日志收集引擎)等日志转换清洗工具的配置文件中，一旦业务发生变化需要修改日志清洗规则时，就必须修改配置文件或修改流计算处理代码，部署后重启相应服务才能生效，导致日志处理业务中断且存在手工修改错配文件导致日志服务宕机的风险。

发明内容

本发明实施例提供一种物联网云容器日志收集方法及装置，用以实现动态清洗日志数据。

第一方面，本发明实施例提供一种物联网云容器日志收集方法，包括：

监听消息队列模块中应用的第一主题获取应用的日志数据；

将所述日志数据依据预设的标准格式和字段进行标准化处理，得到标准格式的日志数据；

确定内存中是否存储所述应用的日志规则，若是，则依据所述日志规则对所述标准格式的日志数据进行处理。

上述技术方案中，通过每种应用单独配置的日志规则来对标准格式的日志进行清洗处理，能够降低日志存储的错误率，提高日志清洗的效率。

可选的，依据所述日志规则对所述标准格式的日志数据进行处理，包括：

若所述标准格式的日志数据符合所述日志规则，则将所述标准格式的日志数据进行落盘，否则不处理所述标准格式的日志数据。

可选的，所述方法还包括：

若确定所述内存中未存储所述应用的日志规则，则不对所述标准格式的日志数据进行落盘。

可选的，所述方法还包括：

监听所述消息队列模块中所述应用的第二主题获取所述应用的日志规则；

确定所述内存中是否存储所述应用的日志规则，若是，则在确定所述应用的日志规则的ID小于监听到的日志规则的ID时，将所述监听到的日志规则的ID更新到所述内存中。

可选的，每个应用对应一个日志规则，所述日志规则由应用的标准格式和字段的值或字符配置的。

第二方面，本发明实施例提供一种物联网云容器日志收集装置，包括：