[发明专利]用于配置处理器以作为多个独立处理器的功能的技术

说明书

并行处理单元(PPU)可以被分为多个分区。每个分区被配置为与整个PPU操作类似的操作。给定分区包括与整个PPU关联的计算和存储资源的子集。在CPU上执行的软件将管理员用户的PPU分区。访客用户被分配给一个分区，并且所述访客用户可以与分配给任何其他分区的任何其他访客用户隔离地在该分区内执行处理任务。因为PPU可以被分为隔离的分区，所以多个CPU进程可以有效地利用PPU资源。

技术领域

各种实施例通常涉及并行处理架构，更具体地，涉及用于配置处理器以作为多个独立处理器的功能的技术。

背景技术

传统的中央处理单元(CPU)通常包括可以执行相对少的数量的CPU进程的相对少的数量的处理核心。相反，传统的图形处理单元(GPU)通常包括可以彼此并行执行数百个线程的数百个处理核心。因此，考虑到在使用传统GPU时可以部署大量处理的资源，传统GPU通常可以比传统CPU更快、更有效地执行某些处理任务。

在一些实施方式中，在CPU上执行的CPU进程可以将给定的处理任务卸载到GPU，以便使该处理任务更快地执行。这样做，CPU进程在GPU上生成处理上下文(context)，该处理上下文指定了将要实现以执行处理任务的各种GPU资源的目标状态。那些GPU资源可以包括处理、图形和存储器资源等。然后，CPU进程根据处理上下文在GPU上启动线程组，并且该线程组利用各种GPU资源来执行处理任务。在许多这些类型的实现中，GPU一次仅根据一个处理环境进行配置。但是，在某些情况下，CPU需要在相同的时间间隔内将一个以上的CPU进程卸载到GPU。在这种情况下，CPU可以在不同的时间点动态更改在GPU上实现的处理上下文，以便在一定时间间隔期间为这些CPU进程提供串行服务。但是，这种方法的一个缺点是，某些CPU进程卸载的处理任务无法充分利用GPU的资源。因此，当在GPU上串行执行与这些CPU进程相关联的一个或更多个处理任务时，某些GPU资源可能会被闲置，这会降低总体GPU性能和利用率。

一种在GPU上同时执行多个CPU进程的方法是在给定的“父(parent)”处理上下文中生成多个不同的处理子上下文上下文，并将每个不同的处理子上下文分配给不同的CPU进程。然后，多个CPU进程可以同时在GPU上启动不同的线程组，其中每个线程组利用根据特定处理子上下文配置的特定GPU资源。通过这种方法，可以更有效利用GPU，因为一个以上的CPU进程可以在同一时间点将处理任务卸载到GPU，从而有可能避免某些GPU资源被闲置的情况。

上述方法的一个问题是与不同的处理子上下文相关联的CPU进程会可能会不公平地消耗GPU资源，这些GPU资源应在不同的处理子上下文中更均匀地分配或分布。例如，第一CPU进程可以在执行大量读取请求并消耗大量可用GPU存储器带宽的第一处理子上下文中启动第一线程组。第二CPU进程随后可以在也执行大量的读取请求的第二处理子上下文中启动第二线程组。但是，由于第一线程组已经消耗了许多可用GPU存储器带宽，第二线程集可能会遇到高延迟，这可能会导致第二CPU进程停滞。

上述方法的另一个问题是，因为处理子上下文共享父上下文，所以当与一个处理子上下文关联的线程执行时，发生的任何错误都可能干扰与共享同一父上下文的另一个处理子上下文相关联的其他线程的执行。例如，第一CPU进程可以启动与第一处理子上下文相关联的第一线程组以执行第一处理任务。第二CPU进程可以启动与第二处理子上下文相关联的第二线程组，并且第二线程组随后可能会出现故障并失败。为了从故障中恢复，GPU将必须重置父上下文，这将自动重置第一处理子上下文和第二处理子上下文。在这种情况下，即使故障是由第二线程组而不是第一线程组引起的，也会中断第一线程组的执行。

如前所述，在本领域中需要用于配置GPU来执行与多个上下文相关联的处理任务的更有效的技术。

发明内容