[发明专利]一种日志存储方法及系统

说明书

本发明公开了一种日志存储方法及系统，所述的日志存储方法包括：接收到日志数据后，程序开启数据接收线程，进行数据传输；接收传输的数据并进行队列化处理；调用队列化处理后的数据，以多节点分流的形式进行存储。本发明所述的日志存储方法方便程序对日志数据调用和处理，减少数据丢包，增强服务高可用性，实现了高效的数据存储和极强的扩展。

技术领域

本发明涉及数据处理领域，尤其是一种日志存储方法及系统。

背景技术

日志在完整的信息系统里有着非常重要的作用。它可以记录系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志的重要地位尤甚，可以说是安全审计方面最主要的工具之一。所以将日志数据存储再调用显得尤为重要。

现有日志存储技术，普遍分为文件系统存储和数据库入库存储两部分。日志分析通过特定端口接收日志数据包，再转化为XML、JSON等数据交互格式给前台调用，这种属于文件系统的纯文本无标记型存储；数据库存储是单一类型数据库的存储，通常选用关系型数据库，在数据的检索中通过建立多个索引来加强检索效率。

现有技术有以下几点不足：日志原文未被存储。在特定环境下，日志数据包容易被攻击者利用，通过篡改、伪造等形式，造成日志服务器误报，攻击记录被抹去，让攻击者的操作行为无迹可寻。即使具备日志存储的条件，在拥有服务器权限的情况下，日志原文也可直接被修改，不能达到数据可信，安全可控的目的。

收集到的日志数据没有以结构化来存储，造成分类混乱，文本检索速度慢。

数据库选型不恰当。数据库存储是单一类型数据库的存储，通常选用关系型数据库，而关系型数据库在大数据量的情况下丢包率较高，对于海量数据的检索速度较慢，通过建立多个索引来加强检索效率，必将牺牲服务器的性能。此外，当涉及到大量数据关联时，需要用到多表联合查询，占用资源多，数据表设计复杂，扩展性不强。

在业务高峰期容易造成数据丢包。由于程序的线程设计问题，当业务高峰时期，数据大量读写，必将造成数据写入的丢失或者数据读取的卡顿。

发明内容

本发明所要解决的技术问题是，提供一种日志存储方法及系统。所述的日志存储方法及系统方便程序的调用和数据处理，减少数据丢包，增强服务高可用性，实现了高效的数据存储和极强的扩展。

本发明所要解决的上述技术问题，通过如下技术方案予以解决：

一种日志存储方法，其特征在于，包括：

接收到日志数据后，程序开启数据接收线程，进行数据传输；

接收传输的数据并进行队列化处理；

调用队列化处理后的数据，以多节点分流的形式进行存储。

优选地，所述的消息列队化处理，将日志数据来源作为消息的生产来源，持久化至本地磁盘，再由服务控制调用。此方法可极大提高服务的容错率，减少数据的丢包，在业务的高峰期仍能保障用户数据不丢失，并且由于消息中间件的原理，不占用多余系统资源。

优选地，接收日志数据后，程序开启数据接收线程前，程序开放

监听端口，监听日志数据的流入。

优选地，所述开启数据接收线程，通过线程池管理进行。接收到日志数据时，程序开启一个数据接收线程，通过判断数据通道的连接数逐一增加线程数。使用线程池管理，增强线程间的通信，降低数据的丢包率，达到数据的全量接收。