[发明专利]一种基于存储和加速优化的Hadoop异构方法和系统

权利要求书

1.一种基于存储和加速优化的Hadoop异构方法，其特征在于，所述方法包括：

(1)将系统中冷数据和普通应用的处理数据储存在普通存储介质中，将系统中热数据和需加速应用的处理数据储存在固态存储介质中，将系统中不断扩增的数据储存在高密度存储介质中；

其中，系统集群的所有计算节点中都配置有普通存储介质，系统集群中任意选取部分计算节点配置固态存储介质、高密度存储介质或固态存储介质和高密度存储介质；

(2)在系统集群中任意选取部分计算节点配置FPGA加速器、GPU加速器或FPGA加速器和GPU加速器，根据加速任务的功能需求为加速任务匹配合适的加速器进行加速计算。

2.根据权利要求1所述的一种基于存储和加速优化的Hadoop异构方法，其特征在于，所述步骤(1)还包括：

若固态存储介质或高密度存储介质容量不满足分配需求时，则将待分配数据存储到普通存储介质中。

3.根据权利要求1所述的一种基于存储和加速优化的Hadoop异构方法，其特征在于，所述步骤(2)包括：

(21)获取集群各计算节点中加速器的功能和数量并上报；

(22)获取集群各计算节点中加速器的负载情况并上报；

(23)集合集群中所有加速器的功能、数量和负载情况，结合加速器的分布情况构建加速器资源的网络拓扑；

(24)根据加速任务的功能需求和本地性需求查询加速器资源的网络拓扑，匹配合适加速器进行计算；同时将加速任务的数据块副本转存到加速器所在计算节点的固态存储介质中，没有固态存储介质则转存到普通存储介质中。

4.根据权利要求1所述的一种基于存储和加速优化的Hadoop异构方法，其特征在于，所述步骤(2)还包括：

加速器支持布局、算法或功能的静态切换。

5.一种基于存储和加速优化的Hadoop异构系统，其特征在于，所述系统包括：

存储异构模块，用于将系统中冷数据和普通应用的处理数据储存在普通存储介质中，将系统中热数据和需加速应用的处理数据储存在固态存储介质中，将系统中不断扩增的数据储存在高密度存储介质中；

其中，系统集群的所有计算节点中都配置有普通存储介质，系统集群中任意选取部分计算节点配置固态存储介质、高密度存储介质或固态存储介质和高密度存储介质；

加速异构模块，用于在系统集群中任意选取部分计算节点配置FPGA加速器、GPU加速器或FPGA加速器和GPU加速器，根据加速任务的功能需求为加速任务匹配合适的加速器进行加速计算。

6.根据权利要求5所述的一种基于存储和加速优化的Hadoop异构系统，其特征在于，所述存储异构模块还包括：

存储退化单元，用于判断若固态存储介质或高密度存储介质容量不满足分配需求时，则将待分配数据存储到普通存储介质中。

7.根据权利要求5所述的一种基于存储和加速优化的Hadoop异构系统，其特征在于，所述加速异构模块包括：

节点加速资源获取单元，用于获取集群各计算节点中加速器的功能和数量并上报；

节点加速负载获取单元，用于获取集群各计算节点中加速器的负载情况并上报；

加速器网络拓扑构建单元，用于集合集群中所有加速器的功能、数量和负载情况，结合加速器的节点分布情况构建加速器资源的网络拓扑；

加速器分配单元，用于根据加速任务的功能需求和本地性需求查询加速器资源的网络拓扑，匹配合适加速器进行计算；同时将加速任务的数据块副本转存到加速器所在计算节点的固态存储介质中，没有固态存储介质则转存到普通存储介质中。

8.根据权利要求5所述的一种基于存储和加速优化的Hadoop异构系统，其特征在于，所述加速异构模块还包括：

加速器切换单元，用于静态切换集群中加速器布局、算法或功能。