[发明专利]图形处理器中的前端动态共享方法

权利要求书

1.一种提高通用图形处理器能量利用率的方法，基于共享流多处理器前端的芯片架构，其特征在于：

1)若干相邻的流多处理器被分组到一个共享前端的集群中同步执行，其中一个集群中索引最小的流多处理器成为主处理器；

2)主流多处理器的前端始终通电，而在从流多处理器的前端中大部分组件是门控电源；

3)不同的共享前端的集群相互独立工作；

主流多处理器中包含一个增强版的记分板；对于访存指令，在不同流多处理器中延迟不同，记分板记录所有集群成员的数据依赖关系；

但对于非访存指令，因为其对所有流多处理器有相同的执行延迟，所以记分板只检查主流多处理器自己的数据依赖；

在通用图形处理器中，每N个相邻的流多处理器形成集群；使用两个或者四个流多处理器集群。

2.根据权利要求1所述的提高通用图形处理器能量利用率的方法，其特征在于：从流多处理器的所有前端部件除了SIMT堆栈外都是门控的；从流多处理器管理自己SIMT堆栈，记录分支发散和重新收敛条件，在集群被迫解散以后，各流多处理器独立执行后发挥作用；由CTA软件调度器给一个集群中所有流多处理器分配了相同数量的线程块。

3.根据权利要求1所述的提高通用图形处理器能量利用率的方法，其特征在于：1)主流多处理器通过片上网络调控和发射指令；在每一个发射周期中，主流多处理器检查条件以决定是否能发出指令；

大多数集群中完全同步状态，仅需要检查它的本地信息(SIMT栈，记分板，执行单元状态等)决定是否能发出指令；

2)对于访存相关指令，当延迟用于存取存储器是不同的横跨短信，从流多处理器被要求通过片上网络向主流多处理器发送“确认”以确认完成访存相关指令的访问任务；

3)主流多处理器使用增强的记分板来记录对整个集群的访存指令状态；一个增强的记分板是通过给每个记分板的条目添加四个位来实现的。

4.根据权利1所述的提高通用图形处理器能量利用率的方法，其特征在于：在一个包含N个流多处理器的通用图形处理器开启一个新的核函数时，该通用图形处理器将通过分成N/S集群，每个集群包含S个相邻的流多处理器；在每个集群中，索引最小的流多处理器成为主流多处理器而所有其余的成为从流多处理器。

5.根据权利1所述的提高通用图形处理器能量利用率的方法，其特征在于：

在每一个分支指令时，warp块中去一个方向将设置其掩码为“1”，而其他方向将其掩码设置“0”；在分支指令执行过程中，在一个分支指令执行后，主流多处理器将广播其线程掩码给集群中所有的从流多处理器。若掩码出现分歧，从流多处理器将发送“取消组合”请求给主流多处理器；通常的通用图形处理器应用程序包含多个核函数，分别完成特定的功能。集群一旦取消将不会再次集群，直到此核函数的末端。在开始新的核函数时，流多处理器将有机会再次进行集群。

6.根据权利1所述的提高通用图形处理器能量利用率的方法，其特征在于：管理主从流多处理器之间通信的片上网络装置，1)主从流多处理器之间有一对通信线路；

2)通信线路从主流多处理器到从流多处理器是64位的，负责携带译码后的指令包；

3)通信线路从从流多处理器到主流多处理器是16位的，负责携带回执包和其他信息。

7.根据权利6所述的提高通用图形处理器能量利用率的方法，其特征在于：管理主从流多处理器之间通信的片上网络装置和流多处理器与第二级高速缓存之间的互连网络工作频率相同，且是流多处理器核心频率的两倍；但是，该片上网络只有10字节位宽，是上述互连网络宽度的三分之一。

8.根据权利6所述的提高通用图形处理器能量利用率的方法，其特征在于：所述的负责主从流多处理器之间通信的片上网络装置中，片上网络数据包的三种主要类型：InstPacket包含指令信息；MemPacket包含访存“确认”消息；CtrlPacket控制集群行为；根据访存密集程度，MemPacket能占据网络流量中一个显著部分。

9.根据权利1所述的提高通用图形处理器能量利用率的方法，其特征在于：通用图像处理器处理流水线实现方法，除了常规的流水线阶段，在发射指令和读取操作数阶段之间插入新的“通信”的阶段；主从流多处理器之间的指令传送就在此阶段进行。

10.根据权利1所述的提高通用图形处理器能量利用率的方法，其特征在于设有一个估计集群内片上网络能耗的方法，

1)基于通信线路的数量，通信线路的宽度以及它们的长度；

2)假设集群内片上网络的能耗与数据传输的平均距离和数量成线性；

3)根据增强的记分板位宽与原有位宽的比例线性缩放记分板能耗；

4)根据费米架构通用图形处理器的尺寸及其制造工艺，估计集群内片上网络的总面积为原流多处理器与二级缓存之间互连网络面积的2.3％。