[发明专利]一种支持多样化日志合并的日志采集方法及系统

权利要求书

1.一种支持多样化日志合并的日志采集方法，其特征在于，包括：

日志监听模块对监听对象进行监听，判断所述监听对象是否产生变化，其中，所述监听对象产生的变化包括创建、修改和/或删除动作；

所述日志监听模块判断所述监听对象产生变化，生成事件信息，并将所述事件信息传输至日志处理模块；

所述日志处理模块接收所述日志监听模块传输的事件信息，判断所述事件信息的类型，如果所述事件信息为删除动作，则清空所述监听对象的读取记录；如果所述事件信息为创建动作，则初始化偏移量并读取日志内容；如果所述事件信息为修改，则获取配置规则，按照所述配置规则根据预存的偏移量读取日志内容，存储到缓存队列中；

日志上传模块从所述缓存队列中批量获取日志，将所述日志按照预设协议转换成字节流，并将所述字节流进行上传。

2.根据权利要求1所述的方法，其特征在于，所述获取配置规则，按照所述配置规则根据预存的偏移量读取日志内容，存储到缓存队列中包括：

按照逐个字节进行读取，按照字符集配置转换成字符串，如果所述配置规则包括多行合并，则执行多行日志合并的合并逻辑，如果所述配置规则包括事务合并，则执行事务合并的合并逻辑，如果所述配置规则包括多行合并和事务合并，则先执行多行日志合并的合并逻辑，后执行事务合并的合并逻辑，将合并后的字符串存储到所述缓存队列中。

3.根据权利要求1所述的方法，其特征在于，所述日志监听模块对监听对象进行监听，判断所述监听对象是否产生变化包括：

所述日志监听模块对指定监听的目录或者文件建立目录树，按照预设周期遍历所述目录树，判断是否产生创建、修改和/或删除动作的日志文件。

4.根据权利要求1所述的方法，其特征在于，还包括：

配置模块读取并解析所述配置文件，获取所述配置规则，初始化所述日志监听模块、所述日志处理模块和所述日志上传模块。

5.根据权利要求1所述的方法，其特征在于，还包括：

日志存储模块在所述日志上传模块将所述字节流成功上传后，将成功上传的日志偏移量进行存储。

6.根据权利要求1所述的方法，其特征在于，所述事务合并包括：事务上游规则和事务下游规则，所述事务下游规则为沿用上一规则时，沿用上一规则，所述事务下游规则为终结规则时，终结所述事务合并。

7.一种支持多样化日志合并的日志采集系统，其特征在于，包括：日志监听模块、日志处理模块以及日志上传模块；其中：

所述日志监听模块，用于对监听对象进行监听，判断所述监听对象是否产生变化，其中，所述监听对象产生的变化包括创建、修改和/或删除动作；判断所述监听对象产生变化，生成事件信息，并将所述事件信息传输至所述日志处理模块；

所述日志处理模块，用于接收所述日志监听模块传输的事件信息，判断所述事件信息的类型，如果所述事件信息为删除动作，则清空所述监听对象的读取记录；如果所述事件信息为创建动作，则初始化偏移量并读取日志内容；如果所述事件信息为修改，则获取配置规则，按照所述配置规则根据预存的偏移量读取日志内容，存储到缓存队列中；

所述日志上传模块，用于从所述缓存队列中批量获取日志，将所述日志按照预设协议转换成字节流，并将所述字节流进行上传。

8.根据权利要求7所述的系统，其特征在于，所述日志处理模块通过如下方式获取配置规则，按照所述配置规则根据预存的偏移量读取日志内容，存储到缓存队列中：

所述日志处理模块，具体用于按照逐个字节进行读取，按照字符集配置转换成字符串，如果所述配置规则包括多行合并，则执行多行日志合并的合并逻辑，如果所述配置规则包括事务合并，则执行事务合并的合并逻辑，如果所述配置规则包括多行合并和事务合并，则先执行多行日志合并的合并逻辑，后执行事务合并的合并逻辑，将合并后的字符串存储到所述缓存队列中。