[发明专利]数据处理

说明书

技术领域

本发明涉及数据处理网络、集群控制器、数据处理节点、方法和计算机程序产品。

背景技术

高性能计算(HPC)是集群计算内的专业领域，其中数据处理节点的集群的基础设施可能对其运行的软件的性能有很大影响。这意味着HPC应用常常非常专用于其配置中以实现多数的底层计算硬件。HPC集群的建立通常由三个整体装载阶段构成：操作系统装载，这对于集群中的所有节点来说通常是公共的；软件应用层，这是特定于应用领域(例如Hadoop、实时流传送框架、Matlab、科学专用代码)；和节点必须计算的数据的特定配置和集合。

虽然提供HPC集群可以在适当配置时提供显著的性能数据处理优势，但是也可能发生不期望的后果。因此，期望提供一种改进的布置。

发明内容

根据第一方面，提供了一种数据处理网络，包括：集群控制器，可操作为存储多个配置；以及数据处理节点的集群，集群控制器和数据处理节点的集群可操作为进行合作以使多个配置中的一个可用作对集群中的每个数据处理节点分配的只读配置，每个数据处理节点可操作为使用该配置来引导集群控制器，并且数据处理节点的集群进一步可操作为进行合作以对集群中的每个数据处理节点分配读/写存储区域，以用于访问在该数据处理节点在引导之后的操作期间要利用的数据。

第一方面认识到，诸如例如HPC应用的应用通常在其配置中专用于实现多数底层计算硬件，并且这进而使其不适合布置在可重新配置的云状环境中。这压低了成本效益以及传统HPC布置的实现容易度。具体地，在操作系统、应用软件以及特定配置和数据集之间的分离使得实现动态可重新配置的HPC系统，即按需HPC作为服务HPCaaS、硬性和挑战性技术任务。实际上，具有许多不同的目的意味着集群应当具有运行许多不同种类的软件的能力，并且科学/网格计算软件通常需要对所讨论的软件唯一的非常特定的设置以便以最高性能运行。为了促进该在配置中的灵活性，使对集群的维护保持为最小并且提供一种用于在多模式集群在一步操作中需要一系列的技术不便时从一个配置切换为另一个的简便方式，该技术不便应当被解决以保持系统一致和可操作。此外，目前没有有效的方式来在没有虚拟化或专用软件装载的情况下提供专用机器。然而，第一方面还认识到，虚拟化在硬件和软件之间引入了重新定向层，对性能产生了不期望和不可预测的影响。对该方法的替代是非虚拟化专用软件装载，这避免了这些缺陷。然而，该方法引入了集群的更静态的配置，其中该软件必须通过多引导解决方案被装载在每个单个机器上，这消耗盘资源或者不允许特定配置。换言之，当前存在两个主要方式来进行HPC平台的布置，第一个是布置专用于一个HPC任务的平台(例如Hadoop、风暴等)。其优点是，可以充分利用(通常是非常昂贵的)运转平台的基础设施，但是其缺点是，如果没有该具体类型的工作可用于执行，则硬件将保持不被利用。第二个是在顶部布置具有虚拟化层的通用基础设施。这允许系统完全用于任何数目的任务。然而，这还意味着，HPC软件在虚拟化环境内运行——就如同该类型的应用通常遭受高性能损失。这些解决方案在如下布置情形下都没有多大的意义，在该布置情形中，HPC任务在不同的软件系统之间变化，诸如例如研究环境或者在基础设施作为服务市场中。不期望在完全硬件利用和最优灵活度之间进行选择。

因此，可以提供数据处理网络。数据处理网络可以包括集群控制器。集群控制器可以存储多于一个的配置。数据处理网络还可以包括数据处理节点的集群。集群控制器和集群可以进行协作或一起起作用，以使得配置中的一个可用于每个数据处理节点或可由每个数据处理节点访问。所分配的配置可以被提供为只读配置。然后，每个数据处理节点可以使用所分配的配置来引导。集群控制器和数据处理节点的集群还可以一起起作用，以提供用于每个数据处理节点的读和/或写存储区域。所分配的读/写存储区域可以用于访问在数据处理节点在引导之后的操作期间使用的数据。该方法提供了集群的灵活建立，其可以动态地加载特定配置并且自动地在不确定的数目的活动节点上操作。同时，该方法允许可用机器的分离，以便于能够同时运行不同的HPC服务。这通过提供具有正确的顺序和精心策划的特征的组合而成为可能，允许对具有提供对每个节点的特定访问的能力的相同物理硬件驱动的共享。这将可重新配置的云布置框架的很多优点代入HPC情形，而不影响性能和可配置性。

在一个实施例中，集群控制器和数据处理节点的集群可操作为进行合作，以使得多个配置中的同一个可用作对集群中的每个数据处理节点分配的只读配置。因此，集群控制器可以对集群中的每个数据处理节点提供相同的配置。这确保了集群内的每个节点通过相同的配置进行引导。