[发明专利]基于分布式存储的金融数据计算系统、方法及装置

权利要求书

1.一种基于分布式存储的金融数据计算系统，其特征在于，包括获取模块、存储模块以及计算模块；

所述获取模块能够获取金融数据，并基于分布式一致性协议存储所述金融数据至存储模块；

所述存储模块为基于分布式一致性协议构建的分布式存储模块，包括第一存储节点和第二存储节点；所述存储模块能够接收金融数据并存储至第二存储节点；

所述计算模块能够通过第一存储节点只读地调取存储在第二存储节点的金融数据，并根据设定的计算方法进行计算。

2.根据权利要求1所述的基于分布式存储的金融数据计算系统，其特征在于，所述分布式一致性协议包括Raft协议；所述第二存储节点对应于Raft协议中的领导者leader；所述第一存储节点为基于Raft协议引入的复制者Replicator；

所述复制者Replicator不参与Raft日志复制或者选举；所述复制者Replicator能够在设定的时间节点从领导者leader处同步日志并回放。

3.根据权利要求1所述的基于分布式存储的金融数据计算系统，其特征在于：

所述存储模块采用列存结构，所述列存结构是指金融数据中每个字段单独存储，每一列中的数据类型一致；

所述计算模块基于SIMD指令集，利用列存结构的金融数据进行计算；

所述存储模块基于LSM算法实现读写操作。

4.根据权利要求1所述的基于分布式存储的金融数据计算系统，其特征在于：

所述存储模块基于设定的生产周期进行分区；

所述计算模块能够针对只读调取的金融数据建临时表时指定TTL参数，从而在设定的时间点删除临时表和金融数据；

所述计算模块能够根据数据属性，添加数据填充标签；所述数据填充标签为计算处理中数据缺失情况下的替代值；

所述计算模块能够根据设定的生产周期将数据分类；

所述计算模块能够根据表达式组合推断结果数据对应的生产周期；

所述计算模块基于结构化查询语言SQL进行数据分析查询；

所述计算模块能够基于用户自定义函数进行数据处理和/或计算。

5.一种基于分布式存储的金融数据计算方法，其特征在于，利用权利要求1至4中任一项所述的基于分布式存储的金融数据计算系统，包括：

获取金融数据，并基于分布式一致性协议存储所述金融数据至第二存储节点；

计算主体通过第一存储节点只读地调取存储在第二存储节点的金融数据，并根据设定的计算方法独立进行计算。

6.根据权利要求5所述的基于分布式存储的金融数据计算方法，其特征在于，所述分布式一致性协议包括Raft协议；所述第二存储节点对应于Raft协议中的领导者leader；所述第一存储节点为基于Raft协议引入的复制者Replicator；

所述复制者Replicator不参与Raft日志复制或者选举；所述复制者Replicator能够在设定的时间节点从领导者leader处同步日志并回放。

7.根据权利要求5所述的基于分布式存储的金融数据计算方法，其特征在于：

所述获取金融数据，并基于分布式一致性协议存储所述金融数据至第二存储节点的步骤具体包括：

获取金融数据，基于分布式一致性协议，采用列存结构存储所述金融数据至第二存储节点，所述列存结构是指金融数据中每个字段单独存储，每一列中的数据类型一致；

相应的，计算主体通过第一存储节点只读地调取存储在第二存储节点的金融数据，并根据设定的计算方法独立进行计算的步骤具体包括：

计算主体通过第一存储节点，基于LSM算法只读地调取存储在第二存储节点的金融数据；

计算主体基于SIMD指令集，利用列存结构的金融数据，根据设定的计算方法独立进行计算。