[发明专利]扩展GPU存储器的方法、电子设备和计算机程序产品

说明书

本公开的实施例涉及用于扩展图形处理单元的存储器的方法、电子设备和计算机程序产品。一种方法包括：从与主机耦合的图形处理单元接收该图形处理单元将要访问的数据在该图形处理单元的存储器中缺失的指示，其中该数据被存储在与主机耦合的存储设备中；响应于接收到该指示，从多个候选路径中确定用于将存储设备中的数据迁移至图形处理单元的存储器中的路径；使得该数据经由确定的路径从存储设备被迁移至图形处理单元的存储器中；以及指示图形处理单元从图形处理单元的存储器访问该数据。本公开的实施例能够利用外部存储设备来扩展图形处理单元的存储器。

技术领域

本公开的实施例总体涉及数据存储领域，具体涉及用于扩展图形处理单元(GPU)存储器的方法、电子设备和计算机程序产品。

背景技术

当前，机器学习和深度学习被广泛应用。GPU是机器学习和深度学习领域最重要的加速器之一。然而，在许多场景下，GPU的存储器可能是不够用的，例如，在GPU多租户模式下、在深度神经网络层数较多时、或者在处理超高分辨率的图像时(CT扫描图像)。GPU的程序员不得不小心谨慎地分配和使用GPU的存储器。

发明内容

本公开的实施例提供了用于扩展GPU存储器的方法、电子设备和计算机程序产品。

在本公开的第一方面，提供了一种用于扩展GPU存储器的方法。该方法包括：从与主机耦合的图形处理单元接收该图形处理单元将要访问的数据在该图形处理单元的存储器中缺失的指示，其中该数据被存储在与主机耦合的存储设备中；响应于接收到该指示，从多个候选路径中确定用于将存储设备中的数据迁移至图形处理单元的存储器中的路径；使得该数据经由确定的路径从存储设备被迁移至图形处理单元的存储器中；以及指示图形处理单元从图形处理单元的存储器访问该数据。

在本公开的第二方面，提供了一种电子设备。该设备包括至少一个处理单元和至少一个存储器。至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。该指令当由至少一个处理单元执行时使得设备执行动作，动作包括：从与主机耦合的图形处理单元接收该图形处理单元将要访问的数据在该图形处理单元的存储器中缺失的指示，其中该数据被存储在与主机耦合的存储设备中；响应于接收到该指示，从多个候选路径中确定用于将存储设备中的数据迁移至图形处理单元的存储器中的路径；使得该数据经由确定的路径从存储设备被迁移至图形处理单元的存储器中；以及指示图形处理单元从图形处理单元的存储器访问该数据。

在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非瞬态计算机存储介质中并且包括机器可执行指令。该机器可执行指令在由设备执行时使该设备执行根据本公开的第一方面所描述的方法。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或必要特征，也无意限制本公开的范围。

附图说明

通过结合附图对本公开示例性实施例进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施例中，相同的参考标号通常代表相同部件。

图1示出了本公开的实施例能够在其中被实施的示例系统的框图；

图2示出了根据本公开的实施例的用于扩展GPU存储器的示例过程的流程图；

图3示出了根据本公开的实施例的经由主机缓存在存储设备和GPU存储器之间迁移数据的示意图；

图4示出了根据本公开的实施例的不经由主机缓存而直接在存储设备和GPU存储器之间迁移数据的示意图；以及

图5示出了可以用来实施本公开内容的实施例的示例设备的示意性框图。

在各个附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式