[发明专利]一种基于记录仪平台的日志检索系统

说明书

本发明涉及一种基于记录仪平台的日志检索系统，是为了解决现有的日志检索分析系统用时较慢，处理速度较低的缺点而提出的，包括：接收子系统，用于接收客户端请求，将检索条件保存到后台数据库；日志检索子系统，用于根据检索条件和时间从服务器上检索日志文件，并保存到数据库；检索后处理子系统，用于对检索得到的文件的内容进行清洗、有效验证，并将有效数据进行分片缓存；日志处理后存储子系统，用于将分片缓存的数据进行汇总并保存至数据库中。本发明适用于记录仪日志管理。

技术领域

本发明涉及一种基于记录仪平台的日志检索系统，属于记录仪日志管理领域。

背景技术

航天科技记录仪管理平台每天有超过1W辆车辆在线，每天会产生大量的操作日志，日志存储到多台服务器上，用户在使用平台过程中遇到的问题，都可以通过分析日志找到问题原因，所以每天要频繁的从多台服务器上检索日志信息进行分析。现有技术的日志检索分析用时较慢，处理速度较低。

发明内容

本发明的目的是为了解决现有的日志检索分析系统用时较慢，处理速度较低的缺点，而提出一种于记录仪平台的日志检索系统，系统是基于spring integration框架实现的，包括：

接收子系统，用于接收客户端请求，将检索条件保存到后台数据库；

日志检索子系统，用于根据检索条件和时间从服务器上检索日志文件，并保存到数据库；

检索后处理子系统，用于对检索得到的文件的内容进行清洗、有效验证，并将有效数据进行分片缓存；

日志处理后存储子系统，用于将分片缓存的数据进行汇总并保存至数据库中。

本发明的有益效果为：

1、系统采用spring integration作为系统框架，多线程、定时器、消息通道等易出错误部分，都是使用框架内固有的成熟稳定模块，通过xml配置文件进行调用使用，该方式将研发人员从复杂的技术问题中解脱出来，集中精力关注具体的业务逻辑的实现，大大提高了研发速度和整个系统的稳定性。

2、系统的主要运算、缓存部分，主要集中在检索后日志处理模块中，该模块可以根据任务量，进行灵活扩充，从而提升系统的整体运算性能。

3、检索后日志处理模块提供了清洗、分片缓存策略，在整个数据处理过程中，能够减少接收、发送的数据量，提升系统整体的运算性能。处理速度相比于传统方法至少提升了10％。

附图说明

图1为本发明一个实施例的基于记录仪平台的日志检索系统的系统结构图。

具体实施方式

具体实施方式一：本实施方式提供一种基于记录仪平台的日志检索系统，如图1所示，是基于spring integration框架实现的，包括：

接收子系统100，用于接收客户端请求，将检索条件保存到后台数据库；

日志检索子系统200，用于根据检索条件和时间从服务器上检索日志文件，并保存到数据库。检索条件可以是检索关键词，时间可以为日志生成的时间。例如，可以检索含有关键词“记录仪”且为2018年1月1日生成的日志。

检索后处理子系统300，用于对检索得到的文件的内容进行清洗、有效验证，并将有效数据进行分片缓存；清洗是指剔除掉时间异常或者内容为空的数据。

日志处理后存储子系统400，用于将分片缓存的数据进行汇总并保存至数据库中。汇总并保存的含义是，可以等待所接收的数据达到一定数量时再进行批量保存，例如等待分片缓存的数据达到100条以后，批量将100条数据均存储进数据库。

其中spring integration是一种面向企业应用集成的API。