[发明专利]一种并行流式计算方法、电子设备、存储介质及系统

权利要求书

1.一种并行流式计算方法，其特征在于包括以下步骤：

数据接收，通过并行流式计算系统的流程接口接收原始数据；

流程配置，将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；

流程调度，当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；

并行流式计算，查找所述第一节点的所有后置节点，将所述后置节点生成新线程，循环调用所述步骤流程调度，根据所有返回的数据进行并行计算，对计算结果进行持久化。

2.如权利要求1所述的一种并行流式计算方法，其特征在于：在所述步骤流程配置和所述步骤流程调度之间还包括步骤流程并发量控制，当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口。

3.如权利要求2所述的一种并行流式计算方法，其特征在于：所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis，所述步骤流程并发量控制具体为当所述Redis列表的长度达到限流阀值时，停止调用所述Kafka消息队列。

4.如权利要求1所述的一种并行流式计算方法，其特征在于：所述步骤并行流式计算还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库。

5.如权利要求1所述的一种并行流式计算方法，其特征在于：所述步骤并行流式计算还包括采用HAProxy进行负载均衡，将所述计算结果持久化至Mysql。

6.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5任一项方法的步骤。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-5任一项方法的步骤。

8.一种并行流式计算系统，其特征在于包括：

数据接收模块：用于通过并行流式计算系统的流程接口接收原始数据；

流程配置模块：用于将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；

流程调度模块：用于当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；

并行流式计算模块：用于查找所述第一节点的所有后置节点，将所述后置节点生成新线程，调用所述流程调度模块根据所述配置流程启动所述后置节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述后置节点对应的配置服务，将返回的数据写入数据库，根据所有返回的数据进行并行计算；

数据持久化模块：用于对计算结果进行持久化。

9.如权利要求8所述的一种并行流式计算系统，其特征在于：还包括流程并发量控制模块：用于当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口；所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis。

10.如权利要求8所述的一种并行流式计算系统，其特征在于：所述并行流式计算模块还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库；所述并行流式计算模块还包括采用HAProxy进行负载均衡：所述数据持久化模块具体为将所述计算结果持久化至Mysql。