[发明专利]一种大数据分析流程的执行计划生成方法

说明书

本发明提供一种大数据分析流程的执行计划生成方法，所述方法根据每个分析任务生成了可执行的任务实例，然后根据任务实例中保存的依赖关系，建立有向无环图，按照依赖关系遍历依赖任务序列，并执行依赖实例，所述依赖实例为依赖任务的任务实例，所述依赖任务为所述依赖任务序列中与所述分析任务相依赖的其他分析任务，然后执行所述任务实例，生成任务结果文件。本发明提供的大数据分析流程的执行计划生成方法，根据大数据分析流程中分析任务具有数据传递关系的特点，以规则的形式强化了分析任务之间在数据上的关联关系，提高了大数据分析的效率，降低了大数据分析对技术人员技能的要求，避免将数据透露给大数据分析提供商，降低了安全风险。

技术领域

本发明涉及大数据技术领域，尤其涉及一种大数据分析流程的执行计划生成方法。

背景技术

随着大数据技术的不断发展，市场上出现了许多相关技术和产品，成为大数据获取、存储、处理分析或可视化的有效手段。但使用这些技术和产品存在较高的技术门槛，怎样将大数据技术以标准化的形式组织起来，为使用者提供便捷、高效的使用方法，成为一项巨大挑战。传统的工作流引擎作为各个领域应用系统的一部分，具备较好的通用性和完备性，但流程定义复杂，强调角色、分工、信息传递路由、内容等级等执行业务流程的解决方案，并不适合聚焦于数据传递、数据处理和分析、结果展现等方面的大数据分析流程。大数据分析流程中的任务多种多样，但具备一些特殊性质。比如几乎所有任务都需要传入数据，而任务的输出也局限于模型、数据、计算结果这几类。另外，任务之间除了调度上的先后关系，还包括数据上的传递关系。这些性质决定了大数据分析流程需要更具针对性的技术手段来组织和执行。

现有技术中，大数据分析服务提供商提供一系列基于云平台的大数据分析产品。但是，这些大数据分析产品并不开源，产品的使用需要较高的技术门槛，对操作者的技术水平有较高的要求，并且，对于企业用户来说，云端的大数据分析产品无法与本地系统结合，难以适应企业系统中的特殊数据分析需求。同时，将关乎企业命脉的核心数据大批量存放到服务提供商运营的云平台上，存在巨大的安全风险。

发明内容

(一)要解决的技术问题

本发明的目的是提供一种大数据分析流程的执行计划生成方法，解决了现有技术中的大数据分析产品的使用技术门槛高，分析效率低。

(二)技术方案

为了解决上述技术问题，一方面，本发明提供一种大数据分析流程的执行计划生成方法，包括：

若判断获知分析任务对应的任务实例未执行完成且所述任务实例存在依赖任务，则遍历依赖任务序列，并执行所述依赖任务序列中的所述依赖任务；

在执行完所述依赖任务序列中的所述依赖任务以后，若判断获知所述任务实例执行完成，则生成任务结果文件。

进一步地，所述方法还包括：

根据所述任务实例的执行状态标识判断所述任务实例是否执行完成，所述执行状态标识包括第一标识以及第二标识，所述第一标识用于表示所述任务实例的执行过程中发生异常，所述第二标识用于表示所述任务实例的执行过程中未发生异常。

进一步地，所述执行所述任务实例具体为：

调用第三方程序执行所述任务实例中指定的可执行文件，所述指定的可执行文件为实现所述分析任务的算法的可执行文件。

进一步地，还包括：

将每个分析任务的描述保存到第一内存哈希表中，所述分析任务的描述包括任务地址、任务名称、任务参数值、依赖任务序列和依赖任务输出端口；

遍历所述第一内存哈希表中的所有的分析任务，对所述分析任务进行实例化；

再次遍历所述第一内存哈希表中的所有的分析任务，补充所述分析任务的依赖关系；