[发明专利]一种基于多维中间态聚合的银行流计算业务实时指标系统

说明书

本发明公开了一种基于多维中间态聚合的银行流计算业务实时指标系统，该系统中的预处理模块接收来自Kafka消息队列的实时交易流水并与全量数据库Redis模块进行交互。特征处理模块对预处理数据的特征进行筛选和组合以生成中间态记录。指标聚合模块由多个聚合计算节点组成，根据聚合方式将中间态记录分散到不同的计算节点进行聚合。聚合运算过程使用并行的计算方式可使用底层计算资源进行加速，并将最终的计算结果存储到中间态数据库MemDB模块中。本发明能够提升计算资源使用效率，均衡计算负载，并有效的减少系统IO负载，以达到银行流计算业务指标在实时性方面的要求。

技术领域

本发明涉及银行流计算数据处理领域，尤其是指一种基于多维中间态聚合的银行流计算业务实时指标系统。

背景技术

随着大数据时代的到来，很多的金融场景中会出现多维数据，如银行流水数据，股票交易数据，信用卡账户数据等。这些数据通常包含多个特征，特征计算系统在处理这些不同的特征时往往会使用不同的计算方法，如求和、取平均、最大最小值等。然而随着业务复杂程度的提升，特征计算系统所需要处理的数据量急速增加，很多的金融场景需要对业务对象建立多维度的特征体系以及对不同的特征需要采用不同的处理方式，这些都对系统的性能提出了新的挑战。

银行流计算业务作为金融领域中重要的部分，其对系统的实时性有着较高的要求，目前大多数的实时指标系统都采用的是主流的经典流计算架构，在复杂的业务场景下，该架构暴露出两个问题：一是由于流式计算框架并不针对底层数据存储的管理和优化，每一次业务事件的处理都需要从底层数据库中取出相关数据并输入到计算框架中去，这便会造成系统IO负载；二是由多维数据导致的不同的特征处理方式会造成额外的数据处理的开销以及计算资源的浪费，这也使得特征计算系统的运维成本大幅提高。以上两个问题使得经典流计算架构并不能满足银行流计算业务指标系统对于实时性的要求。

发明内容

本发明的目的在于针对现有技术的不足，提出一种基于多维中间态聚合的银行流计算业务实时指标系统，通过对全量数据进行特征处理生成中间态记录并聚合，再与中间态数据库中的原始记录进行比对和更新的方式实现银行流计算指标业务。该系统可以提高多维数据的计算效率，节省计算资源，减少系统的IO负载，以达到银行流计算业务在实时性方面的要求。

本发明的目的是通过以下技术方案来实现的：一种基于多维中间态聚合的银行流计算业务实时指标系统，该系统包括预处理模块、全量数据库Redis模块、ETL模块、特征处理模块、指标聚合模块和中间态数据库MemDB模块；

所述预处理模块用于接收来自Kafka消息队列的实时交易流水数据，根据业务需求从全量数据库Redis模块中取出指定时间区间的全量历史数据以及将新的实时交易流水数据进行保存，并将由全量数据库Redis模块中取出的历史数据以及Kafka消息队列的实时交易流水数据一并发送至ETL模块；

所述全量数据库Redis模块用于银行流计算业务相关的完整的未经处理的多维数据；

所述ETL模块用于对预处理模块发送的Kafka消息队列的实时交易流水数据以及全量数据库Redis模块的历史数据进行清洗和标准化，将数据按照维度对齐并统一格式，将全量数据库Redis模块中的历史数据以及来自Kafka的实时交易流水数据转化为标准数据发送至特征处理模块；

所述特征处理模块对经过清洗和标准化的多维数据根据业务需求进行特征筛选，并根据指标聚合模块的聚合方式对筛选后的多维特征进行分组，形成指定格式的多维中间态记录；具体为：特征处理模块包含多种列表，每个列表对应一种指标聚合模块的聚合方式，每个列表中包含多维特征；每个列表根据业务需求决定特征数量以及特征组合格式；

所述指标聚合模块由多个聚合节点组成，每个聚合节点执行一种聚合方式，将特征处理模块得到的多维中间态记录按照对应的聚合方式分配到不同的聚合节点中进行聚合运算，将结果发送至中间态数据库MemDB模块；