[发明专利]一种应用日志的处理方法及装置有效
申请号: | 201710432651.1 | 申请日: | 2017-06-09 |
公开(公告)号: | CN107273266B | 公开(公告)日: | 2020-09-29 |
发明(设计)人: | 肖斌;张甫;张恒;何继远;刘爽;杨光润 | 申请(专利权)人: | 上海艾融软件股份有限公司 |
主分类号: | G06F11/30 | 分类号: | G06F11/30 |
代理公司: | 北京国昊天诚知识产权代理有限公司 11315 | 代理人: | 许志勇 |
地址: | 202150 上海市崇明*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 应用 日志 处理 方法 装置 | ||
1.一种应用日志的处理方法,其特征在于,所述方法包括:
当监测到终端设备触发预定事件时,记录所述预定事件对应的日志数据;其中,服务器中安装有收集日志数据的应用程序,与该应用程序相对应的设置有应用日志文件,所述应用日志文件设置有统一的格式,通过设置的格式有序的将需要记录的日志数据写入应用日志文件中,当需要记录预定事件对应的日志数据时,先修改所述应用程序中所述应用日志文件的日志记录方式,以使所述服务器按照预先设置的统一的格式向所述应用日志文件中写入日志数据;
获取所述预定事件对应的日志收集配置信息,所述日志收集配置信息包括所述日志数据的存储路径、目标设备的网络地址信息、资源分析设备的网络地址信息和所述日志数据所在的文件名格式;其中,对于不同的事件,设置相应的日志收集配置信息,先修改所述应用程序中日志收集配置信息,修改完成后,启动所述应用程序,通过所述应用程序对所述日志数据的存储路径下的所述应用日志文件进行监控;
根据所述日志收集配置信息生成相应的日志存储信息;其中,所述日志收集配置信息中包含有所述目标设备的网络地址信息,服务器从所述日志收集配置信息中提取所述目标设备的网络地址信息,并通过所述目标设备的网络地址信息生成日志存储信息;
获取本地设备的资源消耗信息,所述资源消耗信息包括负载信息和/或带宽信息;其中,所述应用程序中还包括资源采样组件,所述资源采样组件采集本地设备的资源占用信息和/或负载信息和/或带宽信息,实现服务器对负载情况和资源占用的及时统计和监控,避免出现数据传输阻塞或宕机;
将所述资源消耗信息通过所述数据传输通道发送给指定的资源分析设备;
从所述资源分析设备获取多个不同应用设备的资源消耗信息;
根据所述多个不同应用设备的资源消耗信息和所述日志存储信息,建立多条数据传输通道,其中,所述多条数据传输通道连接后能够将日志文件由所述本地设备传输到所述目标设备,相邻两条数据传输通道之间设置有不同的应用设备;其中,如果所述服务器与所述目标设备处于同一个小型的局域网中,则认为所述服务器与所述目标设备之间能够直接建立通信通道,此时,所述服务器向所述目标设备发送通信请求,所述目标设备将建立数据传输通道所需的相关信息发送给所述服务器,所述服务器建立一条到所述目标设备的数据传输通道;
将所述日志数据通过所述数据传输通道,并基于预定事务的方式传输给所述目标设备;其中,目标设备存储所述日志数据,当其存储的日志数据的数据量达到预定数据量阈值时,对所述日志数据进行分析,得到用户的兴趣爱好、使用习惯、生活习惯和需求信息这些分析结果,以便根据该分析结果为该用户推荐相关信息;
获取所述日志数据的收集速度和所述日志数据在所述数据传输通道中的传输速度;其中,在监测所述日志数据在所述数据传输通道中的传输速度的过程中,所述日志数据分装成多个数据包,通过相邻两个数据包的进入所述数据传输通道中的时间间隔来计算所述日志数据在所述数据传输通道中的传输速度;
如果所述收集速度超过所述传输速度,则调整所述收集速度和所述传输速度,以使所述日志数据的收集和传输达到预定的平衡状态。
2.一种应用日志的处理装置,其特征在于,所述装置包括:
日志记录模块,用于当监测到终端设备触发预定事件时,记录所述预定事件对应的日志数据;其中,服务器中安装有收集日志数据的应用程序,与该应用程序相对应的设置有应用日志文件,所述应用日志文件设置有统一的格式,通过设置的格式有序的将需要记录的日志数据写入应用日志文件中,当需要记录预定事件对应的日志数据时,先修改所述应用程序中所述应用日志文件的日志记录方式,以使所述服务器按照预先设置的统一的格式向所述应用日志文件中写入日志数据;
通道建立模块,用于从资源分析设备获取多个不同应用设备的资源消耗信息;根据所述多个不同应用设备的资源消耗信息和所述日志存储信息,建立多条数据传输通道,其中,所述多条数据传输通道连接后能够将日志文件由本地设备传输到目标设备,相邻两条数据传输通道之间设置有不同的应用设备;其中,如果所述服务器与所述目标设备处于同一个小型的局域网中,则认为所述服务器与所述目标设备之间能够直接建立通信通道,此时,所述服务器向所述目标设备发送通信请求,所述目标设备将建立数据传输通道所需的相关信息发送给所述服务器,所述服务器建立一条到所述目标设备的数据传输通道;
日志数据发送模块,用于将所述日志数据通过所述数据传输通道,并基于事务的方式传输给所述目标设备;其中,目标设备存储所述日志数据,当其存储的日志数据的数据量达到预定数据量阈值时,对所述日志数据进行分析,得到用户的兴趣爱好、使用习惯、生活习惯和需求信息这些分析结果,以便根据该分析结果为该用户推荐相关信息;
资源消耗获取模块,用于获取本地设备的资源消耗信息,所述资源消耗信息包括负载信息和/或带宽信息;其中,所述应用程序中还包括资源采样组件,所述资源采样组件采集本地设备的资源占用信息和/或负载信息和/或带宽信息,实现服务器对负载情况和资源占用的及时统计和监控,避免出现数据传输阻塞或宕机;
消耗信息传输模块,用于将所述资源消耗信息通过所述数据传输通道传输给指定的资源分析设备;
配置信息获取模块,用于获取所述预定事件对应的日志收集配置信息,所述日志收集配置信息包括所述日志数据的存储路径、所述目标设备的网络地址信息、所述资源分析设备的网络地址信息和所述日志数据所在的文件名格式;其中,对于不同的事件,设置相应的日志收集配置信息,先修改所述应用程序中日志收集配置信息,修改完成后,启动所述应用程序,通过所述应用程序对所述日志数据的存储路径下的所述应用日志文件进行监控;
日志存储信息生成模块,用于根据所述日志收集配置信息生成相应的日志存储信息;其中,所述日志收集配置信息中包含有所述目标设备的网络地址信息,服务器从所述日志收集配置信息中提取所述目标设备的网络地址信息,并通过所述目标设备的网络地址信息生成日志存储信息;
速度获取模块,用于获取所述日志数据的收集速度和所述日志数据在所述数据传输通道中的传输速度;其中,在监测所述日志数据在所述数据传输通道中的传输速度的过程中,所述日志数据分装成多个数据包,通过相邻两个数据包的进入所述数据传输通道中的时间间隔来计算所述日志数据在所述数据传输通道中的传输速度;
调整模块,用于如果所述收集速度超过所述传输速度,则调整所述收集速度和所述传输速度,以使所述日志数据的收集和传输达到预定的平衡状态。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海艾融软件股份有限公司,未经上海艾融软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710432651.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种IPMI系统日志处理方法
- 下一篇:基于elastic组件的日志分析方法