[发明专利]交互式自动化大数据分析应用开发系统

摘要

本发明实施例提供了一种交互式大数据分析系统及方法，包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块。首先，支持了具备较强易用性的交互功能；其次，通过流程控制算子等为用户提供了批量构建流程、差异化复用流程、动态规划流程等功能，极大地简化了复杂分析流程的构建步骤；特别的，利用流程解析优化模块为每个分析流程进行算法选择，用户无需考虑算法实现问题，大幅降低了在数据分析技术方面对用户的使用门槛；另外，利用流程解析优化模块为需要进行超参数优化的流程进行超参数选择，该系统自动为超参数不确定的任务选择最优的执行超参数，使得分析流程的构建和执行更加简洁、高效。

主权项

1.一种交互式大数据分析系统，其特征在于，所述系统包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块；其中，所述数据接收模块用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集；所述算子管理模块用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子；所述分析模型生成模块用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；所述流程解析优化模块用于对所述分析模型进行解析得到多个第一分析任务，且所述多个第一分析任务中的每个第一分析任务对应于所述分析模型中的一个流程；所述流程解析优化模块还用于对所述多个第一分析任务进行优化得到多个第二分析任务；所述任务调度执行模块用于调度并执行所述多个第二分析任务，得到训练好的所述分析模型。