[发明专利]在推断期间中对图形处理器的协调和增加利用

说明书

描述一种用于促进自主机器处的机器学习的推断协调与处理利用的机制。如本文所描述，实施例的一种方法包括：在训练时根据与包括图形处理器的处理器相关的训练数据集来检测与将要执行的一个或多个任务相关的信息。所述方法还可以包括：分析所述信息以确定能够支持所述一个或多个任务的与所述处理器相关的硬件的一个或多个部分；以及将所述硬件配置成预先选择所述一个或多个部分来执行所述一个或多个任务，而所述硬件的其他部分保持可用于其他任务。

技术领域

本文所描述的实施例总体上涉及数据处理，并且更具体地涉及促进一种用于在推断期间对图形处理器进行协调和增加利用的工具。

背景技术

当前的并行图形数据处理包括被开发用于对图形数据执行特定操作的系统和方法，诸如，例如线性插值法、曲面细分、栅格化、纹理映射、深度测试等。传统上，图形处理器使用固定函数计算单元来处理图形数据，然而近来，图形处理器的多个部分已经可编程，从而使得此类处理器能够支持用于处理顶点和片段数据的更广泛种类的操作。

为了进一步提高性能，图形处理器通常实现诸如流水线操作的处理技术，这些处理技术尝试贯穿图形流水线的不同部分并行地处理尽可能多的图形数据。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理量最大化。在SIMT架构中，多组并行线程尝试尽可能经常地一起同步执行程序指令，以提高处理效率。用于SIMT架构的软件和硬件的一般性概述可以在以下两者中找到：Shane Cook的CUDA编程(CUDAProgramming)，第3章，第37到51页(2013年)和/或Nicholas Wilt的CUDA手册(GPU编程的综合指南(A Comprehensive Guide to GPU Programming))，章节2.6.2到3.1.2(2013年6月)。

机器学习在解决很多种任务方面已经成功。在训练和使用机器学习算法(例如，神经网络)时产生的计算使其本身自然地用于有效的并行实施。因此，诸如通用图形处理单元(GPGPU)的并行处理器在深度神经网络的实践实施中起到重要作用。具有单指令多线程(SIMT)架构的并行图形处理器被设计成使图形流水线中的并行处理量最大化。在SIMT架构中，多组并行线程尝试尽可能经常地一起同步执行程序指令，以提高处理效率。由并行机器学习算法实施提供的效率允许使用大容量网络并且使得那些网络能够在更大数据集上进行训练。

常规技术并未提供推断输出与负责提供输入的传感器之间的协调；然而，此类常规技术没有提供推断输出的准确性。此外，在图形处理器上使用推断相当少，而其余图形处理器未被利用。

附图说明

在附图中以示例性而非限制性方式展示实施例，在附图中，相同的参考标记指代类似元件。因此，可以详细地理解上述特征、上文简要概述的更具体描述的方式可能已经参考实施例，一些实施例在附图中展示。然而，应注意，附图仅展示了典型的实施例，并且因此不应被视作限制其范围，因为附图可以展示其他同样有效的实施例。

图1是展示被配置成实施本文所描述实施例的一个或多个方面的计算机系统的框图。

图2A到图2D展示了根据实施例的并行处理器部件。

图3A到图3B是根据实施例的图形多处理器的框图。

图4A到图4F展示了示例性架构，其中多个图形处理单元以通信方式耦合到多个多核处理器。

图5展示了根据实施例的图形处理流水线。

图6展示了根据一个实施例的托管推断协调与处理利用机制的计算装置。

图7展示了根据一个实施例的推断协调与处理利用机制。

图8A展示了根据一个实施例的在用于促进预分析训练的应用和/或图形处理器处的事务框架。

图8B展示了根据一个实施例的用于经提高处理利用的图形处理器。