[发明专利]GPU写请求数据的延迟控制方法、装置以及云计算系统

说明书

本发明公开了一种GPU写请求数据的延迟控制方法、装置以及云计算系统，涉及云计算领域，其中的方法包括：接收到对于GPU内存的写请求数据；在主机侧对写请求数据进行缓存；计算GPU的延迟请求时间；当到达延迟发送时间点时，将在延迟请求时间内与GPU对应的写请求数据进行合并处理，并写入GPU的内存。本发明的GPU写请求数据的延迟控制方法、装置以及云计算系统，在主机侧对GPU内存写入请求进行基于策略的延迟控制，根据GPU的空闲情况采用可调的延迟控制，合并在延迟时间内的多个写存请求进行批量写入，可有效避免小数据频繁传输导致的IO资源大量消耗，能够提升IO性能，进一步发挥协同计算中GPU的计算能力。

技术领域

本发明涉及云计算技术领域，尤其涉及一种GPU写请求数据的延迟控制方法、装置以及云计算系统。

背景技术

云计算(Cloud Computing)是分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡、热备份冗余等传统计算机和网络技术发展融合的产物。通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似，能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。目前，GPU(Graphics Processing Unit，图形处理器)已经发展成为了并行度高、多线程、计算快捷及内存带宽大的高性能通用处理器。GPU中不同层次存储结构具有不同的资源容量和访问延迟等特性。在云计算系统中，GPU与CPU(Central Processing Unit，中央处理器)协同计算，数据频繁地通过PCI-E(PCI Express)总线从主机内存拷贝到GPU内存，大量小数据的写入中断请求消耗了大量的IO(Input Output，输入、输出)资源，极大降低了系统的总体IO性能，导致GPU得不到足够的数据从而计算能力不能被最大化利用。

发明内容

有鉴于此，本发明要解决的一个技术问题是一种GPU写请求数据的延迟控制方法、装置以及云计算系统。

一种图形处理器GPU写请求数据的延迟控制方法，包括：接收到对于GPU内存的写请求数据；在主机侧对所述写请求数据进行缓存；计算所述GPU的延迟请求时间；当到达延迟发送时间点时，将在所述延迟请求时间内与所述GPU对应的写请求数据进行合并处理，并写入所述GPU的内存。

根据本发明的一个实施例，进一步的，所述接收到对于GPU内存的写请求数据、在主机侧对所述写请求数据进行缓存包括：设置多个请求队列；其中，所述多个请求队列与多个GPU为一一对应设置；接收到应用程序的写请求数据，确定此写请求数据请求写入的目的GPU，将此写请求数据放入与所述目的GPU相对应的请求队列中。

根据本发明的一个实施例，进一步的，所述计算所述GPU的延迟请求时间包括：获取各个GPU的资源使用数据，基于所述资源使用数据计算此GPU的空闲内存；其中，所述资源使用数据包括：GPU的流处理器的实时利用率、内存空闲率；计算GPU的延迟系数以及主机侧对GPU的延迟请求时间。

根据本发明的一个实施例，进一步的，计算GPU的空闲内存的公式为：

M_i＝M*u_i；

其中，M_i为第i个GPU的空闲内存，M为第i个GPU的固定内存，u_i为第i个GPU的内存空闲率。

根据本发明的一个实施例，进一步的，计算GPU的延迟系数的公式为：

计算主机侧对GPU的延迟请求时间的公式为：

T_i＝d_i*T；