[发明专利]一种对海量实时数据流进行处理的方法及系统

说明书

本发明公开了一种对海量实时数据流进行处理的方法及系统，包括：接收消息中间件RocketMQ中的多条业务状态原始数据，并进行解析转码处理，以获取每个业务的业务完整记录；将获取的每个业务的业务完整记录与分布式数据库HBase中存储的业务汇总信息进行比对处理,根据比对结果生成实时分析统计结果处理信息并消息中间件RocektMQ中；根据所述实时分析统计结果处理信息进行各维度实时统计结果的更新。本发明采用实时流计算框架Flink，消息队列缓存RocketMQ，分布式的、面向列的数据库Hbase和非关系型分布式数据库实现对复杂业务的实时处理；能够有针对性的对数据服务管理进行分布式扩容，实现了高并发性能需求，高效利用了服务器资源，避免了资源浪费，提升了系统的稳定性。

技术领域

本发明海量数据处理技术领域，并且更具体地，涉及一种对海量实时数据流进行处理的方法及系统。

背景技术

随着全国快递物流行业的快速发展，尤其是双11期间，快递物流量的爆发式增长。在进行数据处理时，需要对数据库进行反复大数据量IO操作。基于传统IOE技术的架构面对如此大量数据的实时处理时，在性能和功能方面，已经难以满足国家邮政局对全国快递数据处理分析的及时性、准确性需求。

现有的基于IOE架构的数据处理方法，前端采用负载均衡(Nginx)做分发，后端采用多个Tomcat，原始数据经过一系列操作落入ORACLE，ORACLE已无法满足海量数据实时统计，实时统计性能越来越差，已经难以满足实时数据统计的展示需要。而且上述统计方式仅仅是对当天数据进行统计，统计结果并不与复杂的业务定义完全一致，实时统计结果仅有参考价值，无法完全作为实际监管的数据统计依据，具体的复杂的业务定义统计逻辑还要进行长时间的批量计算得出。现有的实时统计无论在处理性能上还是业务逻辑支撑上都存在严重不足。

因此，需要一种海量实时数据流处理方法，以满足实时处理性能需要以及复杂业务逻辑处理需求。

发明内容

本发明提出一种对海量实时数据流进行处理的方法及系统，以解决如何对海量数据实时进行处理，以满足实时处理性能需要以及复杂业务逻辑处理需求的问题。

为了解决上述问题，根据本发明的一个方面，提供了一种对海量实时数据流进行处理的方法，所述方法包括：

接收消息中间件RocketMQ中的多条业务状态原始数据，并对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录；

将获取的每个业务的业务完整记录与分布式数据库HBase中存储的业务汇总信息进行比对处理,根据比对结果生成实时分析统计结果处理信息，并将所述实时分析统计结果处理信息写入所述消息中间件RocektMQ中；

根据所述消息中间件RocketMQ中的实时分析统计结果处理信息对各维度实时统计结果进行更新。

优选地，其中所述对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录，包括：

根据获取的多条业务状态原始数据中的每条业务状态原始数据的标识信息，确定相互关联的业务状态原始数据集合；

将相互关联度的业务状态原始数据集合中的每条业务状态原始数据进行解析转码和合并，并将合并后的数据并与预设的维度码表进行清洗操作，以获取每个业务的业务完整记录。

优选地，其中每条业务状态原始数据包括：收件、发件、到件、派件和签收信息；

所述预设的维度码表包括：产品类型、扫描状态和扫描网点，所述产品类型包括：次日达、次晨达、次早达、隔日达和次日达信息，所述扫描状态包括：揽收、发件、到件、派件和签收信息。

优选地，其中所述方法还包括：