[发明专利]日志存储方法和分布式系统

说明书

本发明公开了一种日志存储方法和分布式系统。其中，该方法包括：客户端采集用户访问日志数据；服务器接收用户访问日志数据，并确定与用户访问日志数据对应的业务项目，其中，服务器上设置有多个存储点；服务器统计用户访问日志数据的数据量；服务器依据业务项目和数据量，确定存储用户访问日志数据的目标存储点；服务器将用户访问日志数据存储至目标存储点。

技术领域

本发明涉及分布式存储技术领域，具体而言，涉及一种日志存储方法和分布式系统。

背景技术

在相关技术中，对于单体项目或者分布式项目中，经常会对用户访问日志记录进行采集，并存储采集到的用户访问日志记录，在现有的方案中，对用户访问日志记录采集的方式是利用不同客户端的采集逻辑进行采集，然后将用户访问日志记录进行相同逻辑的存储，其存储的数据基本相同，这样会造成存储代码重复，造成存储用户访问日志数据混乱的情况，而且需要针对不同的客户端采集的方案不同，需要针对每种客户端采用对应的存储方案，存储方式差异较大，需要后台节点花费较多的线程处理不同客户端的采集到的用户日志数据。

针对上述的相关技术中对于不同客户端采集的用户访问日志数据，在存储数据时容易造成存储数据混乱且数据容易重复的技术问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种日志存储方法和分布式系统，以至少解决相关技术中对于不同客户端采集的用户访问日志数据，在存储数据时容易造成存储数据混乱且数据容易重复的技术问题。

根据本发明实施例的一个方面，提供了一种日志存储方法，包括：客户端采集用户访问日志数据；服务器接收所述用户访问日志数据，并确定与所述用户访问日志数据对应的业务项目，其中，所述服务器上设置有多个存储点；所述服务器统计所述用户访问日志数据的数据量；所述服务器依据所述业务项目和所述数据量，确定存储所述用户访问日志数据的目标存储点；所述服务器将所述用户访问日志数据存储至所述目标存储点。

进一步地，所述客户端为多个，每个所述客户端采集所述用户访问日志数据的采集逻辑不同；所述服务器为一个，所述服务器存储每个所述客户端采集到的所述用户访问日志数据的存储逻辑相同。

进一步地，日志存储方法还包括：所述服务器将存储所述用户访问日志数据的存储逻辑打包为可执行文件，其中，所述可执行文件用于存储所述用户访问日志数据；所述服务器根据所述可执行文件提供对存储在所述服务器上的所述用户访问日志数据进行检索操作。

进一步地，日志存储方法还包括：所述服务器在接收到所述用户访问日志数据后，通过预设应用程序界面API调用所述存储逻辑，以将所述用户访问日志数据存储至所述目标存储点。

进一步地，日志存储方法还包括：所述服务器将所述用户访问日志数据分类，得到多个分类日志数据，其中，每个所述存储点存储一个所述分类日志数据。

进一步地，所述服务器将所述用户访问日志数据分类，得到多个分类日志数据包括：所述服务器按照预先设置的多个时间段对所述用户访问日志数据分类；所述服务器按照预先设置的多个分类级别对所述用户访问日志数据分类，其中，所述多个分类级别至少包括：调试级别、错误级别、执行级别。

进一步地，日志存储方法还包括：所述客户端在采集到所述用户访问日志数据后，建立消息队列，并将所述消息队列放入预设的传输通道；所述服务器监听所述传输通道中是否有所述消息队列，并在监听到所述消息队列后，将所述消息队列对应的用户访问日志数据存储至目标存储点。