[发明专利]一种对海量实时数据流进行处理的方法及系统在审
| 申请号： | 201910848405.3 | 申请日： | 2019-09-09 |
| 公开（公告）号： | CN110704484A | 公开（公告）日： | 2020-01-17 |
| 发明（设计）人： | 王必红 | 申请（专利权）人： | 华迪计算机集团有限公司 |
| 主分类号： | G06F16/2455 | 分类号： | G06F16/2455;G06F16/2458;G06F16/27 |
| 代理公司： | 11266 北京工信联合知识产权代理有限公司 | 代理人： | 姜丽楼 |
| 地址： | 100192 北京市海淀区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种对海量实时数据流进行处理的方法及系统，包括：接收消息中间件RocketMQ中的多条业务状态原始数据，并进行解析转码处理，以获取每个业务的业务完整记录；将获取的每个业务的业务完整记录与分布式数据库HBase中存储的业务汇总信息进行比对处理,根据比对结果生成实时分析统计结果处理信息并消息中间件RocektMQ中；根据所述实时分析统计结果处理信息进行各维度实时统计结果的更新。本发明采用实时流计算框架Flink，消息队列缓存RocketMQ，分布式的、面向列的数据库Hbase和非关系型分布式数据库实现对复杂业务的实时处理；能够有针对性的对数据服务管理进行分布式扩容，实现了高并发性能需求，高效利用了服务器资源，避免了资源浪费，提升了系统的稳定性。 | ||
| 搜索关键词： | 分布式数据库 处理信息 实时分析 统计结果 完整记录 缓存 服务器资源 实时数据流 消息中间件 比对处理 比对结果 并发性能 复杂业务 高效利用 接收消息 实时处理 实时统计 数据服务 消息队列 业务状态 原始数据 转码处理 实时流 中间件 扩容 维度 解析 数据库 存储 更新 管理 | ||
【主权项】：
1.一种对海量实时数据流进行处理的方法，其特征在于，所述方法包括：/n接收消息中间件RocketMQ中的多条业务状态原始数据，并对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录；/n将获取的每个业务的业务完整记录与分布式数据库HBase中存储的业务汇总信息进行比对处理,根据比对结果生成实时分析统计结果处理信息，并将所述实时分析统计结果处理信息写入所述消息中间件RocektMQ中；/n根据所述消息中间件RocketMQ中的实时分析统计结果处理信息对各维度实时统计结果进行更新。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华迪计算机集团有限公司，未经华迪计算机集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910848405.3/，转载请声明来源钻瓜专利网。
