[发明专利]GPU的资源分配方法和装置

说明书

技术领域

本公开涉及图形处理单元(GPU)的资源分配方法和装置。更具体地，本公开涉及能够通过将使用通用GPU(GPGPU)的任务分类到操作中并且将相同的操作合并到请求中来高效地利用GPU资源的资源分配方法和装置。

背景技术

图1图示出用于使用GPU来处理请求的常规编程模型的结构。图1涉及在利用不同的程序大小执行相同的操作的三种情况下关于GPGPU请求的GPU核利用率。

在图1中，情况A、B和C分别涉及具有40、20和30的程序大小的GPGPU请求。阴影块101指示执行操作的核，并且空白块102指示不执行操作的核。因为GPU核的数量是100，所以GPU核的利用率至多是40％、20％和30％。

因为正在执行相同的操作，所以相同的程序被加载到核上。而且，因为在相应的情况A、B和C中数据的数量是40、20和30；尽管它们被求和，但是数据的总数变为小于GPU核的数量(即100)的90。因为对于GPU的操作请求是以任务为单位生成的，所以这是当前出现的不可避免的问题。

在常规GPGPU编程模型中，以任务为单位来处理数据处理请求。因此，不可能在低于任务级的操作级优化利用率。

同时，如果以流水线机制操作的GPU能够依序执行相同类型的操作，则由GPU核运行的程序被固定以增加流水线的效率。然而，在常规GPGPU编程模型中，以任务为单位来处理请求，并且因此不可能依序运行相同类型的操作。

发明内容

技术问题

为了解决以上讨论的现有技术的不足，本公开的主要目的是提供能够在操作级高效地分配GPU资源的资源分配方法和装置。

本公开的另一个目的是提供能够提高GPU的流水线效率的资源分配方法和装置。

对问题的解决方案

根据本公开的一个方面，一种图形处理单元(GPU)的资源分配方法包括：接收包括至少一个操作的任务；以请求为单位存储至少一个操作；合并每个请求的相同的操作的数据；以及根据请求的运行次序来分配GPU资源。

根据本公开的另一个方面，一种图形处理单元(GPU)的资源分配装置包括：存储器，存储至少一个请求；以及控制器，控制：接收包括至少一个操作的任务，以请求为单位存储至少一个操作，合并每个请求的相同的操作的数据，以及根据请求的运行次序来分配GPU资源。

发明的有益效果

本公开的资源分配方法和装置能够减小GPU的请求处理次数，以便提高GPU核利用的效率。

而且，本公开的资源分配方法和装置能够增加GPU流水线的效率，导致系统响应延迟的降低。

附图说明

图1图示出用于使用GPU处理请求的常规编程模型的结构；

图2图示出根据本公开的实施例的资源分配装置的框图；

图3图示出根据本公开的实施例的资源分配方法的流程图；

图4a图示出根据本公开的实施例的、在资源分配方法中由操作运行次序生成的示例性数据相关性；

图4b图示出根据本公开的实施例的、在资源分配方法中由操作特性所引起的示例性数据相关性，即，操作内数据相关性；

图5a图示出根据本公开的实施例的图3的请求优化步骤350的详情的流程图；

图5b图示出通过图5a的请求优化过程所优化的请求处理结构；

图6图示出根据本公开的另一个实施例的图3的请求优化步骤350的详情的流程图；

图7图示出根据本公开的实施例的、在资源分配方法中用于请求优化的窗口机制；并且

图8图示出根据本公开的实施例的资源分配装置的配置。

具体实施方式

在进行以下的具体实施方式之前，阐述贯穿该专利文献所使用的某些语词的定义可能是有利的：术语“包括”和“包含”以及其派生意指不进行限制的包括；术语“或”是可兼的，意指和/或；字句“与...相关联的”和“与此相关联的”以及其派生可以意指包括、被包括在内、与...互连、包含、被包含在内、连接到或与...连接、耦合到或与...耦合、与...通信、与...协作、交织、并置、接近于、绑定到或与...绑定、具有、具有...的属性等等；并且术语“控制器”意指控制至少一个操作的任何设备、系统或其部分，这样的设备可以实施在硬件、固件或软件或者其至少两个的某组合中。应当注意到，与任何特定控制器相关联的功能不管是本地还是远程的都可以是集中的或分布的。贯穿该专利文献来提供对于某些语词的定义，那些本领域普通技术人员应该理解，在许多、即使不是最多实例中，这样的定义适用于这样的定义的语词的在先的以及将来的使用。