[发明专利]一种日志收集方法、装置及系统

说明书

一种日志收集方法，包括：终端设备通过预置的客户端获取日志文件，根据预设的上报策略将该日志文件转换为JSON数据格式的文件，并上报给服务器；该服务器接收该终端设备上报的JSON数据格式的该日志文件，并将该JSON数据格式的该日志文件中的日志数据直接存储在文档型数据库中。此外，本发明还提供一种日志收集装置及系统。上述日志收集方法、装置及系统可提高日志收集的效率。

技术领域

本发明涉及通信技术领域，尤其涉及一种日志收集方法、装置及系统。

背景技术

为了研究用户的操作行为，或者是发现客户端存在的问题，客户端通常都具有日志上报的功能，该功能用于将客户端的一些操作行为上报到后台服务器，便于后台服务器进行入库分析。

在现有的日志收集系统中，后台服务器与各客户端建立连接，收集各客户端上报的日志数据，并经过日志数据清洗过滤，日志结构化分析解析等多道处理程序后，将处理后的日志数据存储在关系型数据库(如：MYSQL)相应的表中，便于后续的分析。

随着计算机软件技术的发展，客户端的版本更新很快。为了能更好的收集用户的行为和系统的行为，每发布一次新的客户端，需要收集的日志的数据格式就会需要更新。此时，客户端的开发者往往需要修改前一个版本的客户端的日志的数据格式，如：增加信息字段，修改原有字段，删除没有用的字段等。而同一时期各种不同版本的客户端往往是并存的，这些不同版本的客户端都会向后台服务器上报日志数据。这就导致后台服务器时常需要根据客户端的版本进行适配，客户端每修改一次日志的数据格式，后台服务器就需要配合进行日志解析程序的修改，否则就没有办法正确读取日志各个字段的信息，也就无法做到结构化的存储。

发明内容

有鉴于此，本发明提供一种日志收集方法、装置及系统，可提高日志收集的效率。

本发明实施例提供的一种日志收集方法，包括：终端设备通过预置的客户端获取日志文件，根据预设的上报策略将所述日志文件转换为JSON数据格式的文件，并上报给服务器；所述服务器接收所述终端设备上报的JSON数据格式的所述日志文件，并将所述JSON数据格式的所述日志文件中的日志数据直接存储在文档型数据库中。

本发明实施例提供的另一种日志收集方法，应用于终端设备，包括：通过预置的客户端获取日志文件；根据预设的上报策略将所述日志文件转换为JSON数据格式的文件；将转换后的JSON数据格式的所述日志文件上报给服务器。

本发明实施例提供的又一种日志收集方法，应用于服务器，包括：接收终端设备上报的JSON数据格式的日志文件；将所述JSON数据格式的日志文件中的日志数据直接存储在文档型数据库中。

本发明实施例提供的一种日志收集装置，运行于终端设备，包括：获取模块，用于通过预置的客户端获取日志文件；转换模块，用于根据预设的上报策略将所述获取模块获取的所述日志文件转换为JSON数据格式的文件；上报模块，用于将所述转换模块转换后的JSON数据格式的所述日志文件上报给服务器。

本发明实施例提供的另一种日志收集装置，运行于服务器，包括：接收模块，用于接收终端设备上报的JSON数据格式的日志文件；存储模块，用于将所述接收模块接收的所述JSON数据格式的日志文件中的日志数据直接存储在文档型数据库中。

本发明实施例提供的一种日志收集系统，包括：终端设备与服务器；其中所述终端设备，用于通过预置的客户端获取日志文件，根据预设的上报策略将所述日志文件转换为JSON数据格式的文件，并上报给服务器；所述服务器，用于接收所述终端设备上报的JSON数据格式的所述日志文件，并将所述JSON数据格式的所述日志文件中的日志数据直接存储在文档型数据库中。