[发明专利]基于Hadoop多丛集环境的工作分派系统及方法

摘要

一种基于Hadoop多丛集环境的工作分派的系统及方法，应用在多个大量数据处理的分布式计算机丛集，能够根据执行程序特征，待处理数据特性，与计算机丛集的动态行为，选择最佳的执行环境；可以降低不同运算特性的工作的排程等待时间，有效的加快运算分析的速度，并提升整体资源使用效率。该系统包括丛集监控模块、丛集特征模块、工作数据分析模块、工作程序分析模块以及执行环境选择模块。该方法通过掌握丛集特征、监控丛集运作情形、分析运算数据特性与程序运算特性等影响参数，进而运算比对找出最合适的丛集，再通过执行环境选择模块找到对应的丛集，并将用户工作，包含用户程序与输入数据派送到对应的丛集中执行。

主权项

一种基于Hadoop多丛集环境的工作分派的系统，其特征在于，包括：特征数据库模块，用以储存丛集的静态、动态特征矩阵方程式和工作的静态、动态特征矩阵方程式；丛集特征模块，主要负责分析各丛集的静态特征；丛集监控模块，主要负责分析各丛集的动态特征；工作数据分析模块，主要负责分析计算工作的静态特征；工作程序分析模块，用以分析用户程序在执行时使用资源的情形；以及执行环境选择模块，用以选出最适合用户工作的丛集，并将其送往对应的丛集执行；执行环境选择模块从特征数据库模块取出丛集特征模块、丛集监控模块、工作数据分析模块与工作程序分析模块分析的丛集静态特征矩阵方程式、丛集动态特征矩阵方程式、工作静态特征矩阵方程式与工作动态特征矩阵方程式并计算出用户程序特征矩阵方程式与对应各丛集的丛集特征矩阵方程式集合，依据取得的方程式集合将丛集分为三类：最优先、次优先与不适合的矩阵方程式集合；检查最优先丛集特征矩阵方程式集合，若非空集合，则利用最优先丛集特征矩阵方程式与用户程序特征矩阵方程式的向量距离作为选择的依据，从最优先丛集特征矩阵方程式集合中选择最适合的丛集特征矩阵方程式；如最优先丛集特征矩阵方程式集合不存在任何的丛集特征方程式，则利用次优先丛集特征矩阵方程式与用户程序特征矩阵方程式的向量距离作为选择的依据，从次优先丛集特征矩阵方程式集合中选择一个适合的丛集特征矩阵方程式；如有找出适合的丛集特征矩阵方程式，执行环境选择模块由选出的丛集特征矩阵方程式找到对应的丛集，并将用户工作，包含用户程序与输入数据派送到对应的丛集中执行。