[发明专利]一种并行流式计算方法、电子设备、存储介质及系统

说明书

本发明提供一种并行流式计算方法，通过流程接口接收原始数据；将原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除存储系统列表中的数据标识号，生成配置流程；循环执行根据配置流程启动节点，将输入的参数和参数对应的值组装生成参数值，将参数值发送至节点对应的配置服务，将返回的数据写入数据库；根据所有返回的数据进行并行计算，对计算结果进行持久化。本发明还涉及电子设备、存储介质、并行流式计算系统。本发明实现不同业务系统之间的数据访问，减少重复的程序开发，节省资源，开发效率高，系统运行效率高，运算速度快、结构稳定可靠、扩展性强，配置灵活。

技术领域

本发明涉及计算机技术领域，尤其涉及一种并行流式计算方法、电子设备、存储介质及系统。

背景技术

随着互联网的飞速发展，大数据时代已经到来，数据的应用在人们的生活中无处不在，开发出越来越多的系统来满足大数据实时处理的需求。复杂系统之间的交互通常是通过固化的硬代码编写实现，开发效率低，程序维护量大，而且代码重用率低，重复的程序开发造成资源的浪费。现有技术中，业务代码一般采用顺序执行的方式，效率低，系统间的耦合度高。业务代码的流程需要配置，因此需要非常熟悉业务的人员进行流程配置操作，配置项较多造成使用操作不方便，无法进行灵活配置和扩展，无法满足快速计算的需求。

发明内容

本发明正是基于上述技术问题至少之一，提出了一种并行流式计算方法、电子设备、存储介质及系统，解决了当前系统之间的交互程序开发效率低，程序维护量大，重用率低，无法灵活配置和扩展，无法满足快速计算需求的问题。

为达到上述目的，本发明提供一种并行流式计算方法，包括以下步骤：

数据接收，通过并行流式计算系统的流程接口接收原始数据；

流程配置，将所述原始数据的数据标识号插入存储系统列表，根据配置的流程图启动第一节点，当执行完后续生成的异步线程时，执行流程的主线程，删除所述存储系统列表中的所述数据标识号，生成配置流程；

流程调度，当所述原始数据进入调度服务时，根据所述配置流程启动所述第一节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述第一节点对应的配置服务，将返回的数据写入数据库；

并行流式计算，查找所述第一节点的所有后置节点，将所述后置节点生成新线程，循环执行所述步骤流程调度，根据所有返回的数据进行并行计算，对计算结果进行持久化。

进一步地，在所述步骤流程配置和所述步骤流程调度之间还包括步骤流程并发量控制，当所述存储系统列表的长度达到限流阀值时，停止调用所述流程接口。

进一步地，所述流程接口具体为Kafka消息队列，所述存储系统具体为Redis，所述步骤流程并发量控制具体为当所述Redis列表的长度达到限流阀值时，停止调用所述Kafka消息队列。

进一步地，所述步骤并行流式计算还包括根据线程条件选择所述后置节点，获得选择节点，根据所述配置流程启动所述选择节点，将输入的参数和所述参数对应的值组装生成参数值，将所述参数值发送至所述选择节点对应的配置服务，将返回的数据写入数据库。

进一步地，所述步骤并行流式计算还包括采用HAProxy进行负载均衡，将所述计算结果持久化至Mysql。

一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种并行流式计算方法。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种并行流式计算方法。

一种并行流式计算系统，包括：

数据接收模块：用于通过并行流式计算系统的流程接口接收原始数据；