[发明专利]一种实时数据计算方法及系统

说明书

本发明公开了一种实时数据计算方法及系统，属于数据处理技术领域；方法包括：步骤S1，获取数据流，并将数据流拆分成多个子数据流，以分别送入相应的子控制单元中保存；步骤S2，根据保存于每个子控制单元中的子数据流，选择预设的多个计算表达式中的一个或多个，以发送至相应的子控制单元中，供子控制单元对子数据流进行计算处理；步骤S3，合并每个子控制单元经过计算得到的子计算结果以得到最终的计算结果并输出；系统包括：数据控制单元、子控制单元以及计算控制单元。上述技术方案的有益效果是：与现有技术相比有效减少计算任务，保证网络传输的开销和计算时间，提升实时数据的处理效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种实时数据计算方法及系统。

背景技术

现有技术中，对于实时数据的计算通常采用比较分散的计算模型执行。随着互联网的发展，尤其是电子商务的兴起，网络信息量例如在线的网络支付交易量呈现了爆炸式的增长，采用传统的实时数据计算模型不仅降低了实时数据的计算效率，延长计算时间，而且无法实现业务风险的统一识别、预防和补救，即在风险控制方面也存在较大缺陷，无法满足互联网风险控制领域的业务增长需求。

发明内容

根据现有技术中存在的问题，现提供一种实时数据计算方法及系统的技术方案，旨在解决现有技术中存在的实时计算的处理效率较低，风险控制较差，无法满足各种实时业务的需求的问题；

上述技术方案具体包括：

一种实时数据计算方法，其中，包括多个子控制单元；

所述实时数据计算方法具体包括：

步骤S1，获取数据流，并将所述数据流拆分成多个子数据流，以分别送入相应的所述子控制单元中保存；

步骤S2，根据保存于每个所述子控制单元中的所述子数据流，选择预设的多个计算表达式中的一个或多个，以发送至相应的所述子控制单元中，供所述子控制单元对所述子数据流进行计算处理；

步骤S3，合并每个所述子控制单元经过计算得到的子计算结果以得到最终的计算结果并输出；

所述子控制单元之间实现并行计算。

优选的，该实时数据计算方法，其中，预设的所述计算表达式中包括：第一类表达式，和/或第二类表达式，和/或第三类表达式。

优选的，该实时数据计算方法，其中，一个所述第二类计算表达式由多个所述第一类计算表达式和/或多个所述第二类计算表达式组成；

所述第三类计算表达式用于对根据所述第一类计算表达式和/或所述第二类计算表达式处理得到的计算结果进行汇总计算。

优选的，该实时数据计算方法，其中，所述步骤S1中，将所述数据流拆分成多个所述子数据流并分别送入相应的所述子控制单元中保存，同时获取对应每个所述子数据流的存储地址，根据所述存储地址定位所述步骤S2中分发的所述计算表达式对应的所述子控制单元。

优选的，该实时数据计算方法，其中，所述步骤S1中，根据预设的多个所述计算表达式对获取的所有所述存储地址进行过滤，以滤除不参与计算的数据对应的所述存储地址，输出经过过滤的所有所述存储地址。

优选的，该实时数据计算方法，其中，所述步骤S2中，监控每个所述子控制单元的计算过程并获得相应的监控结果；

根据所述监控结果判断相应的所述子控制单元中的一次计算是否超时，并在超时时中断相应的所述子控制单元的计算过程，并记录相应的超时状态信息。

优选的，该实时数据计算方法，其中，所述监控结果包括：

所述子控制单元执行计算过程中的执行状态信息；和/或

所述子控制单元执行计算过程中产生的异常状态信息；和/或