[发明专利]一种基于多维中间态聚合的银行流计算业务实时指标系统

权利要求书

1.一种基于多维中间态聚合的银行流计算业务实时指标系统，其特征在于，该系统包括预处理模块、全量数据库Redis模块、ETL模块、特征处理模块、指标聚合模块和中间态数据库MemDB模块；

所述预处理模块用于接收来自Kafka消息队列的实时交易流水数据，根据业务需求从全量数据库Redis模块中取出指定时间区间的全量历史数据以及将新的实时交易流水数据进行保存，并将由全量数据库Redis模块中取出的历史数据以及Kafka消息队列的实时交易流水数据一并发送至ETL模块；

所述全量数据库Redis模块用于银行流计算业务相关的完整的未经处理的多维数据；

所述ETL模块用于对预处理模块发送的Kafka消息队列的实时交易流水数据以及全量数据库Redis模块的历史数据进行清洗和标准化，将数据按照维度对齐并统一格式，将全量数据库Redis模块中的历史数据以及来自Kafka的实时交易流水数据转化为标准数据发送至特征处理模块；

所述特征处理模块对经过清洗和标准化的多维数据根据业务需求进行特征筛选，并根据指标聚合模块的聚合方式对筛选后的多维特征进行分组，形成指定格式的多维中间态记录；具体为：特征处理模块包含多种列表，每个列表对应一种指标聚合模块的聚合方式，每个列表中包含多维特征；每个列表根据业务需求决定特征数量以及特征组合格式；

所述指标聚合模块由多个聚合节点组成，每个聚合节点执行一种聚合方式，将特征处理模块得到的多维中间态记录按照对应的聚合方式分配到不同的聚合节点中进行聚合运算，将结果发送至中间态数据库MemDB模块；

所述中间态数据库MemDB模块用于存储聚合运算后的指标计算结果，为银行流计算业务提供指标判断依据。

2.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统，其特征在于，所述特征处理模块中的特征组合格式指的是对于每个特定业务场景下的某类特定数据，将其多个特征按照指定顺序进行排列，列表内直接存储每个特征的具体数值。

3.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统，其特征在于，所述指标聚合模块中每个聚合计算节点中的所需处理的多维中间态记录的聚合方式相同，采用先将可聚合数据组合再统一聚合的方式进行并行运算，避免单一中间态记录聚合时的串行运算，提升聚合效率。

4.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统，其特征在于，所述指标聚合模块的多维特征的聚合方法，包括取最大值、最小值、求和以及求平均值。

5.根据权利要求1所述的一种基于多维中间态聚合的银行流计算业务实时指标系统，其特征在于，所述特征处理模块获取用于数据聚合所需的额外辅助数据，包括待聚合时序数据的时间戳以及求取平均值时需要记录的数据总量。