[发明专利]基于flink数据汇总的方法、系统及存储介质

权利要求书

1.一种基于flink数据汇总的方法，其特征在于，所述方法包括：

获取各交易系统的采集数据；

通过交换平台将所述采集数据传输至对应数据库；

在所述对应数据中基于Flink(面向数据流处理和批量数据处理的可分布式的开源计算框架)流处理框架处理所述采集数据至第一数据库和第二数据库，以便汇总显示采集数据对应相关数据；其中所述第一数据库和第二数据库基于Flink设计获得。

2.根据权利要求1所述的方法，其特征在于，所述采集数据包括：集中交易采集数据、融资融券采集数据、公募采集数据、分布式采集数据、场外采集数据、期权采集数据，以及黄金采集数据中至少一种。

3.根据权利要求2所述的方法，其特征在于，通过交换平台将所述采集数据传输至对应数据库，包括：

通过DSG(数据实时交换平台)将所述采集数据按照交易汇总数据的标准采集到kafka。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述DSG通过不同指令对所述采集数据进行新增区分、修改区分，或者删除区分。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：

若同一个topic，则采用单分区，

若采用多分区则根据业务数据key进行分区，保证同一个key的同一个分区。

6.根据权利要求5所述的方法，其特征在于，基于Flink(面向数据流处理和批量数据处理的可分布式的开源计算框架)流处理框架处理所述采集数据至第一数据库和第二数据库，包括：

flink集群采用2个master节点(主备)，三个task节点进行部署，随数据处理压力的增大，通过增加task节点作横向扩展。

7.根据权利要求6所述的方法，其特征在于，所述方法包括：

根据服务业务不同，切换第一数据库和第二数据库以提供所需的不同所述相关数据。

8.一种基于flink数据汇总的装置，其特征在于，所述装置包括：

获取模块，用于获取各交易系统的采集数据；

传输模块，用于通过交换平台将所述采集数据传输至对应数据库；

处理模块，用于在所述对应数据中基于Flink(面向数据流处理和批量数据处理的可分布式的开源计算框架)流处理框架处理所述采集数据至第一数据库和第二数据库，以便汇总显示采集数据对应相关数据；其中所述第一数据库和第二数据库基于Flink设计获得。

9.一种基于flink数据汇总的系统，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行如权利要求1-7中任一项的所述基于flink数据汇总的方法。

10.一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现权利要求1-7中任一项的所述基于flink数据汇总的方法。