[发明专利]一种日志解析系统及日志解析方法

说明书

一种日志解析系统及日志解析方法，文本处理模块、UDP通信模块和TCP通信模块分别读取本地文本数据、通过UDP接收网络数据、通过TCP接收网络数据，接口模块接收来自本地和网络的日志文件保存为数据包，封装模块对用户提供业务处理函数注册接口，并将数据包与自定义协议进行匹配，匹配成功后，调用用户注册的业务处理函数，该业务处理函数通过消息代理模块获取解析后的所有数据，从而实现用户的业务功能。本发明不需要再进行本地文件读取和网络通信功能的开发，无需再进行数据解包以及数据包与协议的匹配工作，避免了软件的重复开发，节省了数据分包及协议匹配的繁重工作量，提高了软件开发的效率。

技术领域

本发明涉及一种日志解析系统及日志解析方法。

背景技术

在软件产品开发和维护中，日志的处理是不可避免的，特别是在产品部署现场后，日志对于产品的维护更显重要，阅读日志是定位故障的必备手段。现场记录的数据量较大，对于存储空间有限的软件而言，按二进制数据流存储日志是比较合适的，但由此造成日志不方便阅读的情况。对此，就需要专门开发软件对日志进行解析。而在每次开发活动中，对数据流进行解析造成了很大的开发任务，同时，每次开发都需要对照协议文件进行数据校验，不仅工作量大，而且开发过程中容易出错。

发明内容

本发明的目的在于提供一种日志解析系统及日志解析方法，不需要再进行本地文件读取和网络通信功能的开发，无需再进行数据解包以及数据包与协议的匹配工作，避免了软件的重复开发，节省了数据分包及协议匹配的繁重工作量，提高了软件开发的效率。

为了达到上述目的，本发明提供一种日志解析系统，包含：数据接收层、接口层、消息层和消息代理层；

所述数据接收层包含文本处理模块、UDP通信模块和TCP通信模块，分别用于读取本地文本数据、通过UDP接收网络数据、通过TCP接收网络数据；

所述接口层包含接口模块，用于存储来自所述数据接收层的数据包；

所述消息层包含封装模块，用于将来自所述接口层的数据包和来自用户注册的业务处理函数进行协议匹配，并调用匹配的业务处理函数解析数据包；

所述消息代理层包含消息代理模块，用于将所述消息层解析得到的数据包发送给用户。

本发明还提供一种日志解析方法，分别接收来自本地和网络的日志文件保存为数据包，将与用户注册的业务处理函数对应的协议配置文件与所述数据包进行协议匹配，协议匹配成功后，调用对应的业务处理函数解析数据包，将解析得到的数据发送给用户。。

所述将日志文件保存为数据包的方法包含：将通过UDP方式接收的来自网络的日志文件直接保存到包数据队列中，对来自本地的日志文件和通过TCP方式接收的来自网络的日志文件保存到环形数据队列中进行分包处理，将生成的数据包保存到包数据队列中。

所述接收来自本地的日志文件的方法包含：依次从本地的日志文件中获取定量数据保存至环形数据队列中。

所述进行分包处理的方法包含：构建包结构实体，从所述环形数据队列中获取数据，根据数据的包头和包尾进行分包，存入包结构实体中，形成完整数据包。

所述包结构实体包含数据源标识，所述数据源标识包含：网络地址、网络端口、本地文件标识。

所述业务处理函数中的协议文件包含：

数据接收方式，用于定义数据来源；

可处理的协议列表，用于引用协议定义块的名称；

协议定义块，用于定义各个协议的具体内容。

如果日志文件来自本地文件，则在所述协议文件的数据接收方式中配置需要解析的本地日志文件路径，如果日志文件来自网络数据，则在所述协议文件的数据接收方式中配置TCP网络地址和网络端口，或配置UDP网络地址和网络端口。