[发明专利]大数据任务可拖拽建模方法、系统、存储介质和终端

权利要求书

1.一种大数据任务可拖拽建模方法，其特征在于，所述方法包括：

确定目标任务的任务类型，并上传所述目标任务的源数据；

基于功能组件的拖拽轨迹以及所述功能组件之间连线顺序，确定所述目标任务的处理流程，并根据所述任务类型确定所述目标任务的解析器，所述功能组件包括数据源组件、写数据表组件、随机采样组件、类型转换组件、拆分组件、缺失值填充组件、归一化组件、标准化组件、SQL脚本组件、增加序列号组件、全表统计组件、皮尔森系数组件、柱状图组件、线性回归组件、线性回归预测组件、逻辑回归组件、逻辑回归预测组件和数据同步组件；

触发所述解析器解析所述目标任务的处理流程，并根据所述处理流程对所述源数据进行处理，得到所述目标任务的处理结果；

所述触发所述解析器解析所述目标任务的处理流程，并根据所述处理流程对所述源数据进行处理，包括：

验证所述处理结果与标准结果的误差是否小于预设值，若不小于预设值，则响应所述功能组件的参数的更改，对所述源数据继续进行处理，若小于预设值，则保存所述处理结果。

2.根据权利要求1所述的方法，其特征在于，所述触发所述解析器解析所述目标任务的处理流程，并根据所述处理流程对所述源数据进行处理，包括：

判断所述功能组件的参数以及所述功能组件之间连线的参数是否正确，若不正确，则提示功能组件错误，若正确，则根据所述处理流程对所述源数据进行处理。

3.根据权利要求1所述的方法，其特征在于，所述根据所述处理流程对所述源数据进行处理，触发所述解析器解析所述目标任务的处理流程，并根据所述处理流程对所述源数据进行处理，还包括：

检测数据预处理后的所述源数据是否存在异常数据，若存在，则提示功能组件错误，若不存在，则根据所述处理流程对所述源数据进行处理。

4.一种大数据任务可拖拽建模系统，其特征在于，所述系统包括：

任务确定模块，用于确定目标任务的任务类型，并上传所述目标任务的源数据；

流程选择 模块，用于基于功能组件的拖拽轨迹以及所述功能组件之间连线顺序，确定所述目标任务的处理流程，并根据所述任务类型确定所述目标任务的解析器，所述功能组件包括数据源组件、写数据表组件、随机采样组件、类型转换组件、拆分组件、缺失值填充组件、归一化组件、标准化组件、SQL脚本组件、增加序列号组件、全表统计组件、皮尔森系数组件、柱状图组件、线性回归组件、线性回归预测组件、逻辑回归组件、逻辑回归预测组件和数据同步组件；

流程执行模块，用于触发所述解析器解析所述目标任务的处理流程，并根据所述处理流程对所述源数据进行处理，得到所述目标任务的处理结果；

所述流程执行模块，包括：

验证单元，用于验证所述处理结果与标准结果的误差是否小于预设值，若不小于预设值，则响应所述功能组件的参数的更改，对所述源数据继续进行处理，若小于预设值，则保存所述处理结果。

5.根据权利要求4所述的系统，其特征在于，

所述流程选择模块包括源目标单元、数据预处理单元、统计分析单元、机器学习单元和数据同步单元；

所述源目标单元包括数据源组件和写数据表组件；

所述数据预处理单元包括随机采样组件、类型转换组件、拆分组件、缺失值填充组件、归一化组件、标准化组件、SQL脚本组件和增加序列号组件；

统计分析单元包括全表统计组件、皮尔森系数组件和柱状图组件；

机器学习单元包括线性回归组件、线性回归预测组件、逻辑回归组件和逻辑回归预测组件；

所述数据同步单元包括数据同步组件。