[发明专利]海量消息的分布式多阶段持久化的系统及方法

说明书

技术领域

本发明涉及消息处理平台领域，尤其涉及消息处理平台消息处理领域，具体是指一种海量消息的分布式多阶段持久化的系统及方法。

背景技术

消息处理平台提供了网络中最基本的连接中枢，是构筑企业神经系统的必要元素，消除不同应用之间的技术差异，让不同的应用服务器协调运作，实现了不同服务之间的通信与整合。

消息处理平台上的任何一次调用，将在平台上产生1、2、3、4四条记录，见图1标示的4个点。消息处理平台作为企业服务连接的中枢总线，这四点的统计信息和报文信息必须存到数据库中。方便查询统计，对帐仲裁。

通常的实现方式是集成平台接收到业务请求消息，进行持久化消息、判断路由、协议转换等处理；然后将业务请求消息路转发给服务提供者；服务提供者接收到业务请求消息后，立即对业务请求消息进行处理返回给集成平台；集成平台再对处理结果做持久化消息、消息路由、协议转换等处理；最终将处理结果转发给服务消费者。如图2所示。

这种直接进行持久化的方式受数据库等外部条件影响很大。如果数据库性能不高，会严重影响消息处理平台的性能。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现持久化的异步存贮和持久化地分布式存贮、通过多阶段持久化大幅提升消息处理平台的性能、具有更广泛应用范围的海量消息的分布式多阶段持久化的系统及方法。

为了实现上述目的，本发明的海量消息的分布式多阶段持久化的系统及方法具有如下构成：

该海量消息的分布式多阶段持久化的系统，其主要特点是，所述的系统包括：

服务总线代理，用以将所述的消息处理平台接收到的异步请求消息保存至异步信息队列中；

服务调用监控子系统，所述的服务调用监控子系统包括：

日志接收引擎，用以接收异步信息发送进程发送的日志文件；

日志分析引擎，用以对所述的日志文件进行合并和分析处理；

日志存贮引擎，用以存储所述的日志分析引擎处理的统计信息和报文信息。

较佳地，所述的日志存贮引擎包括：

数据库存储单元，用以存储所述的日志分析引擎处理的统计信息；

分布式文件系统存储单元，用以存储所述的日志分析引擎处理的报文信息。

本发明还涉及一种基于所述的系统海量消息的分布式多阶段持久化的方法，其特征在于，所述的方法包括以下步骤：

（1）所述的服务总线代理将所述的消息处理平台接收到的异步请求消息保存至异步信息队列中；

（2）所述的消息处理平台通过异步信息发送进程将日志文件发送至所述的日志接收引擎；

（3）所述的日志分析引擎对所述的服务调用监控系统的存储器中存储的日志文件进行合并和分析处理并生成统计信息和报文信息；

（4）所述的日志存贮引擎将所述的日志分析引擎处理生成的统计信息和报文信息进行保存。

较佳地，所述的服务总线代理将所述的消息处理平台的每次服务调用原始记录进行保存，具体为：

所述的服务总线代理采用读写分离技术将所述的消息处理平台接收到的异步请求消息保存至异步信息队列中。

较佳地，所述的消息处理平台通过异步信息发送进程将日志文件发送至所述的日志接收引擎，包括如下步骤：

（21）服务调用监控系统的日志接收引擎自动搜索所述的消息处理平台指定目录下的日志文件；

（22）所述的日志接收引擎通过异步信息发送进程读取所述的消息处理平台的日志文件并存储至所述的服务调用监控系统的存储器中；

（23）所述的日志接收引擎将已存储的日志文件从所述的消息处理平台删除；

（24）所述的服务调用监控系统的日志接收引擎判断是否有后续的日志文件需要读取，如果是，则继续步骤（22），否则继续步骤（3）。

较佳地，所述的统计信息包含服务消费者总时差、服务提供者总时差和服务总线消耗时间总时差。

较佳地，所述的日志存贮引擎包括数据库存储单元和分布式系统存储单元，所述的日志存贮引擎将所述的日志分析引擎处理生成的统计信息和报文信息进行保存，包括以下步骤：

（41）所述的数据库存储单元将所述的日志分析引擎处理的统计信息进行存储；

（42）所述的分布式文件系统存储单元将所述的日志分析引擎处理的报文信息进行存储。

采用了该发明中的海量消息的分布式多阶段持久化的系统及方法，具有如下有益效果：