[发明专利]GPU写请求数据的延迟控制方法、装置以及云计算系统

权利要求书

1.一种图形处理器GPU写请求数据的延迟控制方法，其特征在于，包括：

接收到对于GPU内存的写请求数据；

在主机侧对所述写请求数据进行缓存；

其中，设置多个请求队列；所述多个请求队列与多个GPU为一一对应设置；接收到应用程序的写请求数据，确定此写请求数据请求写入的目的GPU，将此写请求数据放入与所述目的GPU相对应的请求队列中；

计算所述GPU的延迟请求时间；

其中，获取各个GPU的资源使用数据，基于所述资源使用数据计算此GPU的空闲内存；所述资源使用数据包括：GPU的流处理器的实时利用率、内存空闲率；计算GPU的延迟系数以及主机侧对GPU的延迟请求时间；

当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。

2.如权利要求1所述的方法，其特征在于：

计算GPU的空闲内存的公式为：

M_i＝M*u_i；

其中，M_i为第i个GPU的空闲内存，M为第i个GPU的固定内存，u_i为第i个GPU的内存空闲率。

3.如权利要求2所述的方法，其特征在于：

计算GPU的延迟系数的公式为：

计算主机侧对GPU的延迟请求时间的公式为：

T_i＝d_i*T；

其中，di为第i个GPU的延迟系数，Ti为第i个GPU的延迟请求时间，Gi为第i个GPU的流处理器的实时利用率，T为常量，G_j为第j个GPU的流处理器的实时利用率,n为所述多个GPU的数量，i,j为自然数。

4.如权利要求3所述的方法，其特征在于，所述当到达延迟发送时间点时、将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理、并写入所述GPU的内存包括：

根据各个GPU的延迟请求时间进行排序；

当到达一个GPU的延迟发送时间点时，将与此GPU对应的请求队列中在所述延迟请求时间内的写请求数据进行合并，形成请求写入数据，并将所述请求写入数据写入此GPU内存。

5.如权利要求4所述的方法，其特征在于，包括：

判断所述请求写入数据是否大于其对应的GPU的空闲内存，如果是，则将所述请求写入数据超出其对应的GPU的空闲内存的数据保留在请求队列中。

6.一种GPU写请求数据的延迟控制装置，其特征在于，包括：

数据缓存模块，用于接收到对于GPU内存的写请求数据，在主机侧对所述写请求数据进行缓存；

其中，所述数据缓存模块，还用于设置多个请求队列；所述多个请求队列与多个GPU为一一对应设置；接收到应用程序的写请求数据，确定此写请求数据请求写入的目的GPU，将此写请求数据放入与所述目的GPU相对应的请求队列中；

延迟计算模块，用于计算所述GPU的延迟请求时间；

其中，所述延迟计算模块，用于获取各个GPU的资源使用数据，基于所述资源使用数据计算此GPU的空闲内存；所述资源使用数据包括：GPU的流处理器的实时利用率、内存空闲率；计算GPU的延迟系数以及主机侧对GPU的延迟请求时间；

数据合并模块，用于当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。

7.如权利要求6所述的装置，其特征在于：

所述延迟计算模块计算GPU的空闲内存的公式为：

M_i＝M*u_i；

其中，M_i为第i个GPU的空闲内存，M为第i个GPU的固定内存，u_i为第i个GPU的内存空闲率。