[发明专利]一种对海量实时数据流进行处理的方法及系统

权利要求书

1.一种对海量实时数据流进行处理的方法，其特征在于，所述方法包括：

接收消息中间件RocketMQ中的多条业务状态原始数据，并对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录；

将获取的每个业务的业务完整记录与分布式数据库HBase中存储的业务汇总信息进行比对处理,根据比对结果生成实时分析统计结果处理信息，并将所述实时分析统计结果处理信息写入所述消息中间件RocektMQ中；

根据所述消息中间件RocketMQ中的实时分析统计结果处理信息对各维度实时统计结果进行更新。

2.根据权利要求1所述的方法，其特征在于，所述对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录，包括：

根据获取的多条业务状态原始数据中的每条业务状态原始数据的标识信息，确定相互关联的业务状态原始数据集合；

将相互关联度的业务状态原始数据集合中的每条业务状态原始数据进行解析转码和合并，并将合并后的数据并与预设的维度码表进行清洗操作，以获取每个业务的业务完整记录。

3.根据权利要求2所述的方法，其特征在于，每条业务状态原始数据包括：收件、发件、到件、派件和签收信息；

所述预设的维度码表包括：产品类型、扫描状态和扫描网点，所述产品类型包括：次日达、次晨达、次早达、隔日达和次日达信息，所述扫描状态包括：揽收、发件、到件、派件和签收信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在进行比对处理时，获取业务汇总更新信息，并根据所述业务汇总更新信息对所述分布式数据库中的业务汇总信息进行更新。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过数据查询服务查询各维度实时统计结果中的数据信息。

6.一种对海量实时数据流进行处理的系统，其特征在于，所述系统包括：

解析转码处理单元，用于接收消息中间件RocketMQ中的多条业务状态原始数据，并对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录；

比对处理单元，用于将获取的每个业务的业务完整记录与分布式数据库HBase中存储的业务汇总信息进行比对处理,根据比对结果生成实时分析统计结果处理信息，并将所述实时分析统计结果处理信息写入所述消息中间件RocektMQ中；

更新单元，用于根据所述消息中间件RocketMQ中的实时分析统计结果处理信息对各维度实时统计结果进行更新。

7.根据权利要求6所述的系统，其特征在于，所述解析转码处理单元，对获取的多条业务状态原始数据进行解析转码处理，以获取每个业务的业务完整记录，包括：

根据获取的多条业务状态原始数据中的每条业务状态原始数据的标识信息，确定相互关联的业务状态原始数据集合；

将相互关联度的业务状态原始数据集合中的每条业务状态原始数据进行解析转码和合并，并将合并后的数据并与预设的维度码表进行清洗操作，以获取每个业务的业务完整记录。

8.根据权利要求7所述的系统，其特征在于，每条业务状态原始数据包括：收件、发件、到件、派件和签收信息；

所述预设的维度码表包括：产品类型、扫描状态和扫描网点，所述产品类型包括：次日达、次晨达、次早达、隔日达和次日达信息，所述扫描状态包括：揽收、发件、到件、派件和签收信息。

9.根据权利要求6所述的系统，其特征在于，所述系统还包括：

业务汇总信息更新单元，用于在进行比对处理时，获取业务汇总更新信息，并根据所述业务汇总更新信息对所述分布式数据库中的业务汇总信息进行更新。

10.根据权利要求6所述的系统，其特征在于，所述系统还包括：

数据查询单元，用于通过数据查询服务查询各维度实时统计结果中的数据信息。