[发明专利]在推断期间中对图形处理器的协调和增加利用

权利要求书

1.一种非暂态机器可读存储介质，具有存储于其上的可执行计算机程序指令，所述可执行计算机程序指令当由一个或多个机器执行时，使所述一个或多个机器执行包括以下各项的操作：

调度系统中的资源以用于所述系统的客户端的多个上下文，所述多个上下文被分派至所述资源，其中，所述系统的所述资源包括多个流处理器；

指定可用线程的部分作为对所述多个流处理器的使用的限制；以及

在确定对所述多个流处理器的使用的所述限制被设置后，限制所述多个上下文中的一个或多个上下文对所述多个流处理器的使用，

其中，限制对所述多个流处理器的使用包括将用于所述一个或多个上下文的线程限制为所述多个流处理器的可用线程的指定部分，所述指定部分少于所述多个流处理器的所有可用线程，以及

其中，将用于所述一个或多个上下文的线程限制为可用线程的所述指定部分包括将所述一个或多个上下文限制到所述多个流处理器的子集，所述子集少于所有可用流处理器。

2.如权利要求1所述的存储介质，其中，一个或多个上下文对所述多个流处理器的使用被部分地限制以提高所述多个流处理器的利用率。

3.如权利要求2所述的存储介质，进一步包括当由所述一个或多个机器执行时使所述一个或多个机器执行包括以下各项的操作的可执行计算机程序指令：

监测所述多个流处理器的利用率。

4.如权利要求2所述的存储介质，其中，所述操作附加地包括部分地基于控制目标和来自调度器的需求来调整对用于所述一个或多个上下文的线程的限制。

5.如权利要求1所述的存储介质，其中，所述多个流处理器包括单指令多线程SIMT架构。

6.如权利要求5所述的存储介质，其中，所述SIMT架构包括硬件多线程。

7.如权利要求1所述的存储介质，其中，所述多个流处理器中的每一个耦合到数据高速缓存。

8.如权利要求7所述的存储介质，其中，数据端口耦合到所述数据高速缓存以针对经由所述数据端口的存储器访问对数据进行高速缓存。

9.一种非暂态机器可读存储介质，具有存储于其上的可执行计算机程序指令，所述可执行计算机程序指令当由一个或多个机器执行时，使所述一个或多个机器执行包括以下各项的操作：

执行用于系统的客户端的一个或多个上下文的处理，所述系统包括多个客户端；以及

访问所述系统的用于所述一个或多个上下文的经调度的资源，所述多个客户端的所述上下文被分派至所述资源，其中，所述系统的所述资源包括多个流处理器；

其中，所述一个或多个上下文对所述多个流处理器的访问受制于由所述系统设置的对使用的限制；

其中，对使用的所述限制包括将用于所述一个或多个上下文的所述多个流处理器的线程限制为可用线程的指定部分，所述指定部分少于所述多个流处理器的所有可用线程；以及

其中，可用线程的用于对所述多个流处理器的使用的所述限制的部分由所述系统指定，并且对使用的所述限制将所述一个或多个上下文限制到所述多个流处理器的子集，所述子集少于所有可用流处理器。

10.如权利要求9所述的存储介质，其中，对用于所述一个或多个上下文的线程的所述限制被至少部分地提供以提高所述多个流处理器的利用率。

11.如权利要求10所述的存储介质，其中，所述多个流处理器的利用率由所述系统监测。

12.如权利要求10所述的存储介质，其中，所述操作附加地包括部分地基于控制目标和来自调度器的需求来调整对用于所述一个或多个上下文的线程的所述限制。

13.如权利要求9所述的存储介质，其中，所述多个流处理器包括单指令多线程SIMT架构。