[发明专利]对自主机器处的机器学习进行屏障和同步

权利要求书

1.一种用于促进对自主机器处的机器学习进行屏障和同步的设备，所述设备包括：

检测/观察逻辑，用于检测与关联于一个或多个处理装置的机器学习相关的线程组；以及

屏障逻辑，用于促进所述线程组跨多个管芯的屏障同步，使得线程组中的每个线程跨与所述多个管芯相关联的一组计算元件而被调度，其中，每个管芯表示所述一个或多个处理装置中的处理装置，所述处理装置包括图形处理器。

2.如权利要求1所述的设备，其特征在于，进一步包括：同步逻辑，用于基于与所述线程组相对应的线程组标识(ID)使用屏障命令来促进所述线程组的同步，其中，所述屏障命令被执行用于将由插入到所述屏障命令中的所述线程组ID所标识的所述线程组作为自变量的一部分同步。

3.如权利要求2所述的设备，其特征在于，使用一个或多个结构交叉开关来跨多个图形处理器上的多个流多处理器(SM)对所述线程组进行同步。

4.如权利要求2所述的设备，其特征在于，所述同步逻辑进一步用于促进在通信网络上通过数据库来在多个自主机器之间共享中间神经网络，其中，所述中间神经网络数据由所述多个自主机器中的一个或多个存储在所述数据库处并且被压缩以便进行更快的传输，其中，所述数据库包括云数据库并且所述通信网络包括云网络。

5.如权利要求1所述的设备，其特征在于，进一步包括：抢占和调度逻辑，用于通过将所述线程组中的一个或多个线程组映射到全局存储器来跨多个图形处理器上的多个SM调度所述线程组中的所述一个或多个线程组，其中，所述线程组中的所述一个或多个线程组未分配有屏障或共享本地存储器(SLM)。

6.如权利要求1所述的设备，其特征在于，所述抢占和调度逻辑进一步用于通过切换至执行来抢占所述一个或多个线程组以便防止所述一个或多个线程组进入停止状态，其中，此抢占基于由线程调度器所维持的线程组列表和状态，其中，所述线程组列表用于指示在一段时间期间允许被抢占的线程组数量。

7.如权利要求1所述的设备，其特征在于，所述图形处理器与应用处理器共同位于公共的半导体封装上。

8.一种用于促进对自主机器处的机器学习进行屏障和同步的方法，所述方法包括：

检测与关联于一个或多个处理装置的机器学习相关的线程组；以及

促进所述线程组跨多个管芯的屏障同步，使得线程组中的每个线程跨与所述多个管芯相关联的一组计算元件而被调度，其中，每个管芯表示所述一个或多个处理装置中的处理装置，所述处理装置包括图形处理器。

9.如权利要求8所述的方法，其特征在于，进一步包括：基于与所述线程组相对应的线程组标识(ID)使用屏障命令来促进所述线程组的同步，其中，所述屏障命令被执行用于将由插入到所述屏障命令中的所述线程组ID所标识的所述线程组作为自变量的一部分同步。

10.如权利要求9所述的方法，其特征在于，使用一个或多个结构交叉开关来跨多个图形处理器上的多个流多处理器(SM)对所述线程组进行同步。

11.如权利要求9所述的方法，其特征在于，进一步包括：促进在通信网络上通过数据库来在多个自主机器之间共享中间神经网络，其中，所述中间神经网络数据由所述多个自主机器中的一个或多个存储在所述数据库处并且被压缩以便进行更快的传输，其中，所述数据库包括云数据库并且所述通信网络包括云网络。

12.如权利要求8所述的方法，其特征在于，进一步包括：通过将所述线程组中的一个或多个线程组映射到全局存储器来跨多个图形处理器上的多个SM调度所述线程组中的所述一个或多个线程组，其中，所述线程组中的所述一个或多个线程组未分配有屏障或共享本地存储器(SLM)。