[发明专利]基于flink数据汇总的方法、系统及存储介质

说明书

本发明提供一种基于flink数据汇总的方法、系统及存储介质，所述方法包括：获取各交易系统的采集数据；通过交换平台将采集数据传输至对应数据库；在对应数据中基于Flink流处理框架处理采集数据至第一数据库和第二数据库，以便汇总显示采集数据对应相关数据；其中所述第一数据库和第二数据库基于Flink设计获得。本发明实现了通过flink实时数据同步和转换技术，采集各交易系统的实时数据，并对外提供统一视图和各种维度查询，实现了快速的迭代开发和交付；同时提供可性能强大且稳定的系统，一秒钟可同时处理10000笔数据，采用多台服务器集群部署，提升了系统的稳定性。

技术领域

本发明涉及计算机处理技术，尤其涉及一种基于flink数据汇总的方法、系统及存储介质。

背景技术

金融系统支持众多逻辑复杂的业务功能，系统需要处理单个或多个各类复杂业务请求，且部分业务的计算量极大。其中证券交易系统主要有集中交易、融资融券、公募、分布式、场外、期权、黄金等，覆盖了竞价、综合、协议等各类业务，及沪深、场外等交易市场。

由于目前系统较多，且各套系统业务和运营的日常查询，均需分别登到各系统里进行各自的操作，存在操作繁琐、重复、易错等问题。另外，为了不影响客户日间交易，各交易系统在交易期间不能全方面为客户提供查询服务，交易系统本身都比较庞大，例如包含交易，清算，查询，业务办理等，每次升级迭代都需要做全业务流程验证，发布风险较大。

发明内容

本发明实施例提供一种基于flink数据汇总的方法、系统及存储介质，实现通过flink实时数据同步和转换技术，采集各交易系统的实时数据，并对外提供统一视图和各种维度查询，实现了快速的迭代开发和交付；同时提供可性能强大且稳定的系统，一秒钟可同时处理10000笔数据，采用多台服务器集群部署，提升了系统的稳定性。

本发明实施例的第一方面，提供一种基于flink数据汇总的方法，所述方法包括：

获取各交易系统的采集数据；

通过交换平台将所述采集数据传输至对应数据库；

在所述对应数据中基于Flink(面向数据流处理和批量数据处理的可分布式的开源计算框架)流处理框架处理所述采集数据至第一数据库和第二数据库，以便汇总显示采集数据对应相关数据；其中所述第一数据库和第二数据库基于Flink设计获得。

可选地，所述采集数据包括以下至少一种：集中交易采集数据、融资融券采集数据、公募采集数据、分布式采集数据、场外采集数据、期权采集数据，以及黄金采集数据。

可选地，通过交换平台将所述采集数据传输至对应数据库，包括：

通过DSG(数据实时交换平台)将所述采集数据按照交易汇总数据的标准采集到kafka。

可选地，所述方法还包括：所述DSG通过不同指令对所述采集数据进行新增区分、修改区分，或者删除区分。

可选地，所述方法还包括：同一个topic采用单分区，

如果采用多分区则须根据业务数据key进行分区，保证同一个key的同一个分区。

可选地，基于Flink(面向数据流处理和批量数据处理的可分布式的开源计算框架)流处理框架处理所述采集数据至第一数据库和第二数据库，包括：flink集群采用2个master节点(主备)，三个task节点进行部署，随着数据处理压力的增大，可以增加task节点作横向扩展。

可选地，所述方法包括：根据服务业务不同，切换第一数据库和第二数据库以提供所需的不同所述相关数据。

本发明实施例的第二方面，提供一种基于flink数据汇总的装置，所述装置包括：

获取模块，用于获取各交易系统的采集数据；