[发明专利]交互式自动化大数据分析应用开发系统

说明书

本发明实施例提供了一种交互式大数据分析系统及方法，包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块。首先，支持了具备较强易用性的交互功能；其次，通过流程控制算子等为用户提供了批量构建流程、差异化复用流程、动态规划流程等功能，极大地简化了复杂分析流程的构建步骤；特别的，利用流程解析优化模块为每个分析流程进行算法选择，用户无需考虑算法实现问题，大幅降低了在数据分析技术方面对用户的使用门槛；另外，利用流程解析优化模块为需要进行超参数优化的流程进行超参数选择，该系统自动为超参数不确定的任务选择最优的执行超参数，使得分析流程的构建和执行更加简洁、高效。

技术领域

本发明实施例涉及大数据分析技术领域，更具体地，涉及一种交互式大数据分析系统及方法。

背景技术

近年来，大数据领域发展出大量技术和产品，成为大数据获取、存储、处理分析或可视化的有效手段。但使用这些技术和产品存在较高的技术门槛，怎样将大数据技术以标准化的形式组织起来，为使用者提供便捷、高效的使用方法，成为一项巨大挑战。

以许多大互联网公司为代表的一系列基于云平台的大数据分析产品应运而生。这些产品凭借其丰富的云计算资源和友好的交互模式为大数据分析任务的组织提供了相对高效和相对便利的手段。但企业的数据分析人员往往精通领域知识和业务背景，却对数据分析的技术细节不甚熟悉，导致这些大数据分析产品仍然具有较高的技术门槛。尤其在数据分析技术发展迅速的今天，大多企业难以承担同时掌握各种数据分析技术所花费的巨大人力成本。另外，在实际应用中，往往需要根据不同条件训练批量类似的模型，而现有平台和产品无法高效地支持这一场景。

如何将复杂的数据分析技术封装成易用的分析平台，为非数据分析技术方面的专业人员提供易用的自动化、交互式的实用数据分析手段，已经成为一个亟待解决的问题。

发明内容

本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的交互式大数据分析系统及方法。

一方面本发明实施例提供了一种交互式大数据分析系统，其特征在于，所述系统包括：数据接收模块、算子管理模块、分析模型生成模块、流程解析优化模块以及任务调度执行模块；其中，

所述数据接收模块用于接收用户通过数据管理交互界面输入的待分析大数据的训练数据集；

所述算子管理模块用于根据所述训练数据集构建并存储对应的数据集算子，所述算子管理模块还用于存储预设数据处理算子、预设机器学习算子以及预设流程控制算子；

所述分析模型生成模块用于根据用户在分析流程编辑交互界面调用所述数据集算子、所述预设数据处理算子、所述预设机器学习算子以及所述预设流程控制算子构建的分析流程生成所述待分析大数据的分析模型；

所述流程解析优化模块用于对所述分析模型进行解析得到多个第一分析任务，且所述多个第一分析任务中的每个第一分析任务对应于所述分析模型中的一个流程；所述流程解析优化模块还用于对所述多个第一分析任务进行优化得到多个第二分析任务；

所述任务调度执行模块用于调度并执行所述多个第二分析任务，得到训练好的所述分析模型。

进一步地，所述分析模型生成模块具体用于：

将用户在分析流程编辑交互界面构建的分析流程作为所述分析模型；其中，所述用户在所述分析流程编辑交互界面调用所述数据集算子作为所述分析流程中的数据输入流程，调用所述预设数据处理算子作为所述分析流程中的数据处理流程，调用所述预设机器学习算子作为所述分析流程中的机器学习流程，调用所述预设流程控制算子作为所述分析流程中的流程控制，得到所述分析流程。

进一步地，所述分析模型生成模块还用于检查所述分析流程中的各流程之间的连接关系是否合法。