[发明专利]一种基于侦测调节模块的GPU管理装置、方法及GPU服务器

说明书

本发明提出了一种基于侦测调节模块的GPU管理装置，包括：CPU模块、CPU管理模块、转换模块、GPU模块、GPU管理模块、侦测调节模块，所述侦测调节模块的调节控制端分别与GPU管理模块、CPU管理模块的控制端通信连接，用于检测待处理的数据类型，并根据待处理的数据类型选择对应的GPU模块和/或CPU模块进行处理；所述GPU管理模块与GPU模块通信连接，用于实现对GPU模块的管理以及待处理任务的均衡分配；本发明还提出了一种基于侦测调节模块的GPU管理方法及GPU服务器，有效的提高了CPU以及GPU的利用率以及任务处理效率。

技术领域

本发明涉及GPU管理设计领域，尤其是涉及一种基于侦测调节模块的GPU管理装置、方法及GPU服务器。

背景技术

随着GPU(图形处理器)服务器技术的快速发展，越来越多的机器学习及AI(人工智能)应用得到推广使用；GPU服务器作为深度学习，训练等业务得到了大规模的应用。

现有技术中，应用于图形设计、人工智能、科学研究等领域需要使用非常多的GPU处理器，而一台服务器中往往包括GPU处理器以及有CPU处理器。而CPU处理器更擅长整数运算，GPU处理器更擅长浮点运算。

但是，现有任务处理时却无法根据不同的应用场景调整合适的CPU和GPU之间的互联拓扑，以达到一个浮点运算(GPU优势项)和整数运算(CPU优势项)的合理配置，不利于提高CPU以及GPU的利用率以及任务处理效率。

发明内容

本发明为了解决现有技术中存在的问题，创新提出了一种基于侦测调节模块的GPU管理装置、方法及GPU服务器，有效解决由于现有技术造成无法根据不同的应用场景调整合适的CPU和GPU之间的互联拓扑，以达到一个浮点运算和整数运算的合理配置的问题，有效的提高了CPU以及GPU的利用率以及任务处理效率。

本发明第一方面提供了一种基于侦测调节模块的GPU管理装置，包括：CPU模块、CPU管理模块、转换模块、GPU模块、GPU管理模块、侦测调节模块，所述侦测调节模块的调节控制端分别与GPU管理模块、CPU管理模块的控制端通信连接，用于检测待处理的数据类型，并根据待处理的数据类型选择对应的GPU模块和/或CPU模块进行处理；所述CPU管理模块与CPU模块通信连接，用于实现对CPU模块的管理；所述GPU管理模块与GPU模块通信连接，用于实现对GPU模块的管理以及待处理任务的均衡分配；所述CPU模块通过转换模块与GPU模块通信连接。

可选地，所述GPU模块包括多个并联连接的GPU子模块，每个GPU子模块包括若干GPU以及加速卡，若干GPU与加速卡并联设置，多个GPU子模块之间以及若干GPU之间均通过GPU管理模块通信，共同完成GPU管理模块下发的数据处理任务。

进一步地，GPU管理模块包括多个GPU管理子模块，多个GPU管理子模块之间并联连接，且每个GPU管理子模块均与多个并联连接的GPU子模块通信连接。

可选地，还包括：功耗监测模块以及风扇控制模块，所述功耗监测模块的监测端与GPU模块连接，用于实时监测GPU模块的功耗，所述功耗监测模块的输出端与风扇控制模块的输入端连接，一旦监测GPU模块功耗超过设定阈值时，通过风扇控制模块增大风扇运行转速。

本发明第二方面提供了一种基于侦测调节模块的GPU管理方法，是基于本发明第一方面所述的基于侦测调节模块的GPU管理装置基础上实现的，包括：

将待处理的任务划分为整数运算以及浮点运算；

侦测调节模块侦测任务类型，如果是浮点运算任务，则优先通过GPU管理模块调用GPU模块实现数据的运算处理；如果是整数运算任务，则优先通过CPU管理模块调用CPU模块实现数据的运算处理；如果待处理的任务类型包括整数运算部分任务以及浮点运算部分任务，则将浮点运算部分任务优先通过GPU管理模块调用GPU模块实现数据的运算处理，将整数运算部分任务优先通过CPU管理模块调用CPU模块实现数据的运算处理。