[发明专利]一种基于存储和加速优化的Hadoop异构方法和系统

摘要

本发明公开了一种基于存储和加速优化的Hadoop异构方法和系统，属于分布式计算领域。本发明技术方案针对数据处理需求将存储介质分为三类：固态存储介质、普通存储介质和高密度存储介质，为不同类型的数据找到最适合的存储方式；同时将需要提升计算性能的加速应用定向到有特定算法的FPGA加速器或GPU加速器上完成计算，以提升应用的处理性能，并且FPGA和GPU加速器的算法功能以及布局可以进行静态切换。本发明还实现了一种基于存储和加速优化的Hadoop异构系统。本发明技术方案提高了整个集群的读写性能、应用任务的执行性能和加速器件的资源利用率。

主权项

1.一种基于存储和加速优化的Hadoop异构方法，其特征在于，所述方法包括：(1)将系统中冷数据和普通应用的处理数据储存在普通存储介质中，将系统中热数据和需加速应用的处理数据储存在固态存储介质中，将系统中不断扩增的数据储存在高密度存储介质中；其中，系统集群的所有计算节点中都配置有普通存储介质，系统集群中任意选取部分计算节点配置固态存储介质、高密度存储介质或固态存储介质和高密度存储介质；(2)在系统集群中任意选取部分计算节点配置FPGA加速器、GPU加速器或FPGA加速器和GPU加速器，根据加速任务的功能需求为加速任务匹配合适的加速器进行加速计算；所述步骤(2)包括：(21)获取集群各计算节点中加速器的功能和数量并上报；(22)获取集群各计算节点中加速器的负载情况并上报；(23)集合集群中所有加速器的功能、数量和负载情况，结合加速器的分布情况构建加速器资源的网络拓扑；(24)根据加速任务的功能需求和本地性需求查询加速器资源的网络拓扑，匹配合适加速器进行计算；同时将加速任务的数据块副本转存到加速器所在计算节点的固态存储介质中，没有固态存储介质则转存到普通存储介质中。