[发明专利]海量消息的分布式多阶段持久化的系统及方法有效
申请号: | 201310654061.5 | 申请日: | 2013-12-05 |
公开(公告)号: | CN103607476B | 公开(公告)日: | 2017-05-17 |
发明(设计)人: | 刘正云 | 申请(专利权)人: | 上海普坤信息科技有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F17/30 |
代理公司: | 上海智信专利代理有限公司31002 | 代理人: | 王洁,郑暄 |
地址: | 201203 上海市浦东新区张*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 海量 消息 分布式 阶段 持久 系统 方法 | ||
1.一种海量消息的分布式多阶段持久化的系统,其特征在于,所述的系统包括:
服务总线代理,用以将消息处理平台接收到的异步请求消息保存至异步信息队列中;
服务调用监控子系统,所述的服务调用监控子系统包括:
日志接收引擎,用以接收异步信息发送进程发送的日志文件;
日志分析引擎,用以对所述的日志文件进行合并和分析处理;
日志存贮引擎,用以存储所述的日志分析引擎处理的统计信息和报文信息;
所述的系统进行以下处理:
(1)所述的服务总线代理采用读写分离技术将所述的消息处理平台接收到的异步请求消息保存至异步信息队列中;
(2)所述的消息处理平台通过异步信息发送进程将日志文件发送至所述的日志接收引擎;
(3)所述的日志分析引擎对所述的服务调用监控子系统的存储器中存储的日志文件进行合并和分析处理并生成统计信息和报文信息;
(4)所述的日志存贮引擎将所述的日志分析引擎处理生成的统计信息和报文信息进行保存。
2.根据权利要求1所述的海量消息的分布式多阶段持久化的系统,其特征在于,所述的日志存贮引擎包括:
数据库存储单元,用以存储所述的日志分析引擎处理的统计信息;
分布式文件系统存储单元,用以存储所述的日志分析引擎处理的报文信息。
3.一种基于权利要求1所述的系统海量消息的分布式多阶段持久化的方法,其特征在于,所述的方法包括以下步骤:
(1)所述的服务总线代理采用读写分离技术将所述的消息处理平台接收到的异步请求消息保存至异步信息队列中;
(2)所述的消息处理平台通过异步信息发送进程将日志文件发送至所述的日志接收引擎;
(3)所述的日志分析引擎对所述的服务调用监控子系统的存储器中存储的日志文件进行合并和分析处理并生成统计信息和报文信息;
(4)所述的日志存贮引擎将所述的日志分析引擎处理生成的统计信息和报文信息进行保存。
4.根据权利要求3所述的海量消息的分布式多阶段持久化的方法,其特征在于,所述的消息处理平台通过异步信息发送进程将日志文件发送至所述的日志接收引擎,包括如下步骤:
(21)服务调用监控系统的日志接收引擎自动搜索所述的消息处理平台指定目录下的日志文件;
(22)所述的日志接收引擎通过异步信息发送进程读取所述的消息处理平台的日志文件并存储至所述的服务调用监控系统的存储器中;
(23)所述的日志接收引擎将已存储的日志文件从所述的消息处理平台删除;
(24)所述的服务调用监控系统的日志接收引擎判断是否有后续的日志文件需要读取,如果是,则继续步骤(22),否则继续步骤(3)。
5.根据权利要求3所述的海量消息的分布式多阶段持久化的方法,其特征在于,所述的统计信息包含服务消费者总时差、服务提供者总时差和服务总线消耗时间总时差。
6.根据权利要求3所述的海量消息的分布式多阶段持久化的方法,其特征在于,所述的日志存贮引擎包括数据库存储单元和分布式系统存储单元,所述的日志存贮引擎将所述的日志分析引擎处理生成的统计信息和报文信息进行保存,包括以下步骤:
(41)所述的数据库存储单元将所述的日志分析引擎处理的统计信息进行存储;
(42)所述的分布式系统存储单元将所述的日志分析引擎处理的报文信息进行存储。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海普坤信息科技有限公司,未经上海普坤信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310654061.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:SIM卡信号采集方法及装置
- 下一篇:一种注射用硫酸奈替米星冻干粉的制备方法