[发明专利]管理专用处理资源的存储器的方法、设备和介质

说明书

本公开的实施例涉及用于管理专用处理资源的存储器的方法、设备和计算机程序产品。该方法包括：在向专用处理资源集合中的第一专用处理资源存储用于第一专用处理资源的计算任务的数据的过程中，确定第一专用处理资源的存储器的可用空间的大小；响应于第一专用处理资源的存储器的可用空间的大小低于预定阈值，从专用处理资源集合确定第二专用处理资源，第二专用处理资源的存储器的可用空间的大小大于预定阈值；以及使得数据中未被存储到第一专用处理资源的存储器的至少一部分被存储到第二专用处理资源的存储器上。由此，可以实现跨多个专用处理资源来灵活管理其存储资源，从而能够执行大规模的深度学习等计算任务。

技术领域

本公开的实施例总体涉及包括专用处理资源的计算系统，并且更具体地涉及用于管理专用处理资源的存储器的方法、设备以及介质。

背景技术

随着计算机技术的发展，专用处理资源的种类越来越丰富，并且已经不再局限于传统的诸如中央处理单元的通用处理资源。例如，目前图形处理单元(Graphic ProcessingUnit，GPU)的计算能力越来越强。由于GPU特有性质，GPU特别适合于处理多种类型的计算任务。这些计算任务例如可以是机器学习(Machine Learning)、深度学习(Deep Learning)、数据挖掘(Data Mining)、高性能计算(High Performance Computing)等任务。

目前多GPU服务器根据客户需求被广泛部署。然而。一个特定的GPU设备仅能够使用其自身的存储器，这限制了灵活的GPU存储资源管理。此外，由于单个GPU设备上存储器的有限空间，也使得无法进行大规模的机器学习模型训练。

发明内容

本公开的实施例提供了用于管理专用处理资源的存储器的方法、设备和计算机程序产品。

根据本公开的第一方面，提供了一种用于管理专用处理资源的存储器的方法。该方法包括：在向专用处理资源集合中的第一专用处理资源存储用于第一专用处理资源的计算任务的数据的过程中，确定第一专用处理资源的存储器的可用空间的大小；响应于第一专用处理资源的存储器的可用空间的大小低于预定阈值，从专用处理资源集合确定第二专用处理资源，第二专用处理资源的存储器的可用空间的大小大于预定阈值；以及使得数据中未被存储到第一专用处理资源的存储器的至少一部分被存储到第二专用处理资源的存储器上。

根据本公开的第二方面，提供了一种用于管理专用处理资源的存储器的设备，包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，该动作包括：在向专用处理资源集合中的第一专用处理资源存储用于第一专用处理资源的计算任务的数据的过程中，确定第一专用处理资源的存储器的可用空间的大小；响应于第一专用处理资源的存储器的可用空间的大小低于预定阈值，从专用处理资源集合确定第二专用处理资源，第二专用处理资源的存储器的可用空间的大小大于预定阈值；以及使得数据中未被存储到第一专用处理资源的存储器的至少一部分被存储到第二专用处理资源的存储器上。

根据本公开的第三方面，提供了一种计算机程序产品。计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，机器可执行指令在被执行时使机器实现根据本公开的第一方面所描述的方法的任意步骤。

提供发明内容部分是为了以简化的形式来介绍所选择的概念，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中在各个附图中，相同或对应的标号表示相同或对应的部件。

图1示意性示出了适于实现本公开的实施例的示例性计算系统的框图；

图2示出了根据本公开的实施例的方法的流程图；