[发明专利]交互式自动化大数据分析应用开发系统

权利要求书

1.一种交互式大数据分析系统，其特征在于，所述系统包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块；其中，

所述数据接收模块用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集；

所述算子管理模块用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子；

所述分析模型生成模块用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；

所述流程解析优化模块用于对所述分析模型进行解析得到多个第一分析任务，且所述多个第一分析任务中的每个第一分析任务对应于所述分析模型中的一个流程；所述流程解析优化模块还用于对所述多个第一分析任务进行优化得到多个第二分析任务；

所述任务调度执行模块用于调度并执行所述多个第二分析任务，得到训练好的所述分析模型。

2.根据权利要求1所述系统，其特征在于，所述分析模型生成模块具体用于：

将用户在分析流程编辑交互界面构建的分析流程作为所述分析模型；其中，所述用户在所述分析流程编辑交互界面调用所述数据集算子作为所述分析流程中的数据输入流程，调用所述预设数据处理算子作为所述分析流程中的数据处理流程，调用所述预设机器学习算子作为所述分析流程中的机器学习流程，调用所述预设流程控制算子作为所述分析流程中的流程控制，得到所述分析流程。

3.根据权利要求2所述系统，其特征在于，所述分析模型生成模块还用于检查所述分析流程中的各流程之间的连接关系是否合法。

4.根据权利要求3所述系统，其特征在于，所述预设流程控制算子包括循环子流程算子和逻辑分支算子；其中，所述循环子流程算子用于构成多个批量训练流程，所述逻辑分支算子用于构成动态处理流程。

5.根据权利要求1所述系统，其特征在于，所述流程解析优化模块具体用于：

将所述分析模型中的各流程按步骤进行拆分，得到多个流程即为所述多个第一分析任务；

对于所述多个第一分析任务中的每个第一分析任务，从每个第一分析任务对应的多个算法中选择最优算法作为每个第一分析任务的算法，则具有最优算法的多个第一分析任务即为所述多个第二分析任务。

6.根据权利要求1所述系统，其特征在于，所述任务调度执行模块具体用于：

根据所述多个第二分析任务对应的流程在所述分析模型中的时序对所述多个第二分析任务进行调度得到所述多个第二分析任务的执行顺序；

按所述执行顺序执行所述多个第二分析任务。

7.根据权利要求1所述系统，其特征在于，所述数据接收模块还用于接收用户通过算子管理交互界面输入的自定义算子。

8.一种交互式大数据分析方法，其特征在于，所述方法包括：

S1，接收用户输入的待分析大数据的训练数据集，并根据所述训练数据集构建并存储对应的数据集算子；

S2，根据用户调用所述数据集算子、预设数据处理算子、预设机器学习算子以及预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；

S3，对所述分析模型进行解析得到多个第一分析任务，并对所述多个第一分析任务中的超参数进行优化得到多个第二分析任务；其中，所述多个第一分析任务中的每个第一分析任务对应于所述分析流程中的一个步骤；

S4，调度并执行所述多个第二分析任务，得到训练好的所述分析模型。