[发明专利]一种分布式文件系统算法并行执行方法

说明书

本发明公开了一种分布式文件系统算法并行执行方法，通过分析电力研究所输入多个计算算法的可执行程序的输入数据，加载的可执行程序，并对可执行程序的生命周期的进行管理，分发外部程序执行和参数数据到不同的机器执行，实现可执行程序的并行计算功能，获取并行计算的可执行程序的计算结果，并输出展示，提高了可执行程序的执行效率，并且能够便于管理和调度可执行程序的执行过程。

技术领域

本发明涉及大数据技术领域，尤其涉及一种分布式文件系统算法并行执行方法。

背景技术

大数据平台是对海量结构化、非结构化、半结构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。

分布式并行技术大数据领域方面的重要技术，大数据主要环节包括：数据准备、数据存储和管理、计算处理、数据分析、知识展现，在数据存储和管理中，HDFS(HadoopDistributed File System，分布式文件系统)是奠定了大数据存储技术的基础。

现代智能电网发展至今，拥有大量的电力系统数据，这些数据来自电力系统的各个生产运行环节，基础电力行业计算分析依赖很多成熟的算法，这些算法大都是可执行程序，执行潮流计算等都是很耗时的，效率低。

发明内容

本发明实施例提供一种分布式文件系统算法并行执行方法，能有并行执行可执行程序，提高可执行程序执行效率。

本发明一实施例提供一种分布式文件系统算法并行执行方法，所述方法包括：

输入可执行程序的参数数据；

加载所述可执行程序；

监控并管理所述可执行程序的生命周期；

将所述参数数据分发到不同机器；

将所述可执行程序分发到不同机器执行；

将并行处理后的所述可执行程序的结果回收，并将回收的结果输出。

作为一种优选方式，所述输入可执行程序的参数数据，具体包括：

将所述可执行程序的参数数据以单文件或文件夹的方式上传到分布式文件系统中；

以列表方式或文件方式获取参数数据的存储地址。

作为一种优选方式，所述加载所述可执行程序，具体包括：

通过上传和/或在分布式文件系统上选择的方式，加载所述可执行程序；

并通过所述可执行程序的命令行引用所述可执行程序的参数数据。

作为一种优选方式，所述监控并管理所述可执行程序的生命周期，具体包括：

监控并管理所述可执行程序的调度执行、资源管理和结果回收的流程。

优选地，所述将所述参数数据分发到不同机器，具体包括：

通过所述调度器将所述参数数据从所述分布式文件系统分发到各个机器；

在各个机器上安装执行引擎。

优选地，所述将所述可执行程序分发到不同机器执行，具体包括：

根据所述参数数据，将每一个参数数据的可执行程序作为一个任务；

根据预设的任务分发机制将任务随机分发到空余机器执行。

优选地，所述将并行处理后的所述可执行程序的结果回收，并将回收的结果输出，具体包括：

监控所述可执行程序的任务执行状态；

当所述任务执行完成时，根据预设的条件，筛选出符合条件的结果；