[发明专利]一种大数据分析流程的执行计划生成方法

摘要

本发明提供一种大数据分析流程的执行计划生成方法，所述方法根据每个分析任务生成了可执行的任务实例，然后根据任务实例中保存的依赖关系，建立有向无环图，按照依赖关系遍历依赖任务序列，并执行依赖实例，所述依赖实例为依赖任务的任务实例，所述依赖任务为所述依赖任务序列中与所述分析任务相依赖的其他分析任务，然后执行所述任务实例，生成任务结果文件。本发明提供的大数据分析流程的执行计划生成方法，根据大数据分析流程中分析任务具有数据传递关系的特点，以规则的形式强化了分析任务之间在数据上的关联关系，提高了大数据分析的效率，降低了大数据分析对技术人员技能的要求，避免将数据透露给大数据分析提供商，降低了安全风险。

主权项

1.一种大数据分析流程的执行计划生成方法，其特征在于，包括：将每个分析任务的描述保存到第一内存哈希表中，所述分析任务的描述包括任务地址、任务名称、任务参数值、依赖任务序列和依赖任务输出端口；遍历所述第一内存哈希表中的所有的分析任务，对所述分析任务进行实例化；再次遍历所述第一内存哈希表中的所有的分析任务，补充所述分析任务的依赖关系；生成所述分析任务对应的任务实例；若判断获知分析任务对应的任务实例未执行完成且所述任务实例存在依赖任务，则遍历依赖任务序列，并执行所述依赖任务序列中的所述依赖任务；在执行完所述依赖任务序列中的所述依赖任务以后，若判断获知所述任务实例执行完成，则生成任务结果文件；所述遍历所述第一内存哈希表中的所有的分析任务，对所述分析任务进行实例化具体为：根据所述分析任务的任务名称，从外部标准化算子库中获取实现所述分析任务的算法的参数元信息、输入和输出信息、执行环境和可执行文件；创建所述任务实例的对象，生成数据库记录，所述数据库记录存储所述任务实例的任务实例地址、任务实例执行状态标识和任务实例输出结果地址；创建所述任务实例的目录，用来存储与所述任务实例相关的中间结果文件和状态标记文件；根据所述参数元信息补全所述任务参数值缺失的默认值；为所述任务实例输出的中间结果生成中间结果地址，按照所述目录保存到第二内存哈希表中；根据所述执行环境和所述可执行文件生成第三方程序平台的可执行的任务实例，并将所述参数元信息传入所述任务实例，再将所述任务实例保存到第三内存哈希表中；所述再次遍历所述第一内存哈希表中的所有的分析任务，补充所述分析任务的依赖关系具体为：获取所述分析任务的所述依赖任务序列；将所述分析任务的依赖属性保存到所述任务实例中，所述依赖属性为所述分析任务的所述依赖任务序列；将依赖实例的输出结果作为所述任务实例的输入数据，所述依赖实例为依赖任务的任务实例，所述依赖任务为所述依赖任务序列中与所述分析任务相依赖的其他分析任务。