[发明专利]一种支持多样化日志合并的日志采集方法及系统

说明书

本发明提供了一种支持多样化日志合并的日志采集方法及系统，其中方法包括：日志监听模块对监听对象进行监听，判断监听对象是否产生变化；判断监听对象产生变化，生成事件信息，并将事件信息传输至日志处理模块；日志处理模块接收日志监听模块传输的事件信息，判断事件信息的类型，如果事件信息为删除动作，则清空监听对象的读取记录；如果事件信息为创建动作，则初始化偏移量并读取日志内容；如果事件信息为修改，则获取配置规则，按照配置规则根据预存的偏移量读取日志内容，存储到缓存队列中；日志上传模块从缓存队列中批量获取日志，将日志按照预设协议转换成字节流，并将字节流进行上传。

技术领域

本发明涉及日志采集技术领域，尤其涉及一种支持多样化日志合并的日志采集方法及系统。

背景技术

企业的内部业务系统每天都会产生大量的日志，这些日志分散在各个服务器上，没有被集中管理利用，随着大数据时代的到来，出现了众多的开源日志采集-处理-可视化系统，其中包括facebook的scribe，apache的chukwa，elastic的filebeat+logstash+elasticsearch+kibana。

但在filebeat+logstash+elasticsearch+kibana生态中，filebeat作为采集系统，有2项不足：

(1)没法在aix6及以下的操作系统机器上运行。

(2)日志的合并技术缺乏多样性。仅限于多行合并，如果需要根据日志当中的关联信息进行合并的话，仅靠多行合并技术是没法达成的。

发明内容

本发明旨在提供一种克服上述问题之一或者至少部分地解决上述任一问题的支持多样化日志合并的日志采集方法及系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种支持多样化日志合并的日志采集方法，包括：日志监听模块对监听对象进行监听，判断监听对象是否产生变化，其中，监听对象产生的变化包括创建、修改和/或删除动作；日志监听模块判断监听对象产生变化，生成事件信息，并将事件信息传输至日志处理模块；日志处理模块接收日志监听模块传输的事件信息，判断事件信息的类型，如果事件信息为删除动作，则清空监听对象的读取记录；如果事件信息为创建动作，则初始化偏移量并读取日志内容；如果事件信息为修改，则获取配置规则，按照配置规则根据预存的偏移量读取日志内容，存储到缓存队列中；日志上传模块从缓存队列中批量获取日志，将日志按照预设协议转换成字节流，并将字节流进行上传。

其中，获取配置规则，按照配置规则根据预存的偏移量读取日志内容，存储到缓存队列中包括：按照逐个字节进行读取，按照字符集配置转换成字符串，如果配置规则包括多行合并，则执行多行日志合并的合并逻辑，如果配置规则包括事务合并，则执行事务合并的合并逻辑，如果配置规则包括多行合并和事务合并，则先执行多行日志合并的合并逻辑，后执行事务合并的合并逻辑，将合并后的字符串存储到缓存队列中。

其中，日志监听模块对监听对象进行监听，判断监听对象是否产生变化包括：日志监听模块对指定监听的目录或者文件建立目录树，按照预设周期遍历目录树，判断是否产生创建、修改和/或删除动作的日志文件。

其中，系统还包括：配置模块读取并解析配置文件，获取配置规则，初始化日志监听模块、日志处理模块和日志上传模块。

其中，系统还包括：日志存储模块在日志上传模块将字节流成功上传后，将成功上传的日志偏移量进行存储。

其中，事务合并包括：事务上游规则和事务下游规则，事务下游规则为沿用上一规则时，沿用上一规则，事务下游规则为终结规则时，终结事务合并。