[发明专利]一种大数据分析流程的执行计划生成方法

权利要求书

1.一种大数据分析流程的执行计划生成方法，其特征在于，包括：

将每个分析任务的描述保存到第一内存哈希表中，所述分析任务的描述包括任务地址、任务名称、任务参数值、依赖任务序列和依赖任务输出端口；

遍历所述第一内存哈希表中的所有的分析任务，对所述分析任务进行实例化；

再次遍历所述第一内存哈希表中的所有的分析任务，补充所述分析任务的依赖关系；

生成所述分析任务对应的任务实例；

若判断获知分析任务对应的任务实例未执行完成且所述任务实例存在依赖任务，则遍历依赖任务序列，并执行所述依赖任务序列中的所述依赖任务；

在执行完所述依赖任务序列中的所述依赖任务以后，若判断获知所述任务实例执行完成，则生成任务结果文件；

所述遍历所述第一内存哈希表中的所有的分析任务，对所述分析任务进行实例化具体为：

根据所述分析任务的任务名称，从外部标准化算子库中获取实现所述分析任务的算法的参数元信息、输入和输出信息、执行环境和可执行文件；

创建所述任务实例的对象，生成数据库记录，所述数据库记录存储所述任务实例的任务实例地址、任务实例执行状态标识和任务实例输出结果地址；

创建所述任务实例的目录，用来存储与所述任务实例相关的中间结果文件和状态标记文件；

根据所述参数元信息补全所述任务参数值缺失的默认值；

为所述任务实例输出的中间结果生成中间结果地址，按照所述目录保存到第二内存哈希表中；

根据所述执行环境和所述可执行文件生成第三方程序平台的可执行的任务实例，并将所述参数元信息传入所述任务实例，再将所述任务实例保存到第三内存哈希表中；

所述再次遍历所述第一内存哈希表中的所有的分析任务，补充所述分析任务的依赖关系具体为：

获取所述分析任务的所述依赖任务序列；

将所述分析任务的依赖属性保存到所述任务实例中，所述依赖属性为所述分析任务的所述依赖任务序列；

将依赖实例的输出结果作为所述任务实例的输入数据，所述依赖实例为依赖任务的任务实例，所述依赖任务为所述依赖任务序列中与所述分析任务相依赖的其他分析任务。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述任务实例的执行状态标识判断所述任务实例是否执行完成，所述执行状态标识包括第一标识以及第二标识，所述第一标识用于表示所述任务实例的执行过程中发生异常，所述第二标识用于表示所述任务实例的执行过程中未发生异常。

3.根据权利要求1所述的方法，其特征在于，所述执行所述任务实例具体为：

调用第三方程序执行所述任务实例中指定的可执行文件，所述指定的可执行文件为实现所述分析任务的算法的可执行文件。

4.根据权利要求1或3所述的方法，其特征在于，所述第三方程序为Spark客户端程序或者Python解释器程序。

5.根据权利要求1所述的方法，其特征在于，所述分析任务的描述的结构采用JSON格式。