[发明专利]一种基于侦测调节模块的GPU管理装置、方法及GPU服务器

权利要求书

1.一种基于侦测调节模块的GPU管理装置，其特征是，包括：CPU模块、CPU管理模块、转换模块、GPU模块、GPU管理模块、侦测调节模块，所述侦测调节模块的调节控制端分别与GPU管理模块、CPU管理模块的控制端通信连接，用于检测待处理的数据类型，并根据待处理的数据类型选择对应的GPU模块和/或CPU模块进行处理；所述CPU管理模块与CPU模块通信连接，用于实现对CPU模块的管理；所述GPU管理模块与GPU模块通信连接，用于实现对GPU模块的管理以及待处理任务的均衡分配；所述CPU模块通过转换模块与GPU模块通信连接；所述GPU模块包括多个并联连接的GPU子模块，每个GPU子模块包括若干GPU，若干GPU并联设置，多个GPU子模块之间以及若干GPU之间均通过GPU管理模块通信，共同完成GPU管理模块下发的数据处理任务；GPU管理模块包括多个GPU管理子模块，多个GPU管理子模块之间并联连接，且每个GPU管理子模块均与多个并联连接的GPU子模块通信连接；其中，GPU管理模块中GPU管理子模块的数量为6个。

2.根据权利要求1所述的基于侦测调节模块的GPU管理装置，其特征是，每个GPU子模块还包括加速卡，若干GPU与加速卡并联设置。

3.根据权利要求1或2所述的基于侦测调节模块的GPU管理装置，其特征是，还包括：功耗监测模块以及风扇控制模块，所述功耗监测模块的监测端与GPU模块连接，用于实时监测GPU模块的功耗，所述功耗监测模块的输出端与风扇控制模块的输入端连接，一旦监测GPU模块功耗超过设定阈值时，通过风扇控制模块增大风扇运行转速。

4.一种基于侦测调节模块的GPU管理方法，其特征是，是基于权利要求1-3任一所述的基于侦测调节模块的GPU管理装置基础上实现的，包括：

将待处理的任务划分为整数运算以及浮点运算；

侦测调节模块侦测任务类型，如果是浮点运算任务，则优先通过GPU管理模块调用GPU模块实现数据的运算处理；如果是整数运算任务，则优先通过CPU管理模块调用CPU模块实现数据的运算处理；如果待处理的任务类型包括整数运算部分任务以及浮点运算部分任务，则将浮点运算部分任务优先通过GPU管理模块调用GPU模块实现数据的运算处理，将整数运算部分任务优先通过CPU管理模块调用CPU模块实现数据的运算处理。

5.根据权利要求4所述的基于侦测调节模块的GPU管理方法，其特征是，当GPU管理模块接收到侦测调节模块分配的任务时，获取任务队列中优先级最高的任务，根据待处理任务优先级调度GPU模块中的GPU集群资源。

6.根据权利要求5所述的基于侦测调节模块的GPU管理方法，其特征是，根据待处理任务优先级调度GPU模块中的GPU集群资源具体包括：

GPU管理模块遍历GPU集群资源，如果当前GPU集群的空闲运算能力满足所述待处理任务对应的用户的最小运算能力要求，则将待处理任务分配至满足最小运算能力要求且需要的GPU数量最少的GPU集群中；如果当前GPU集群的空闲运算能力不能满足所述待处理任务对应的用户的最小运算能力要求，则根据任务优先级从小到大遍历当前执行任务，根据当前执行任务与待处理任务的优先级进行待处理任务调度。

7.根据权利要求6所述的基于侦测调节模块的GPU管理方法，其特征是，根据当前执行任务与待处理任务的优先级进行待处理任务调度具体包括：

如果所有的当前执行任务的优先级均大于或等于待处理任务的优先级，则待处理任务等待下一次调度；如果当前执行任务的优先级小于待处理任务的优先级，则依次计算处理当前执行任务的GPU集群的空闲运算能力和待释放运算能力的总和，如果当前执行任务的GPU集群的空闲运算能力和待释放运算能力的总和不满足所述待处理任务对应的用户的最小运算能力要求，则等待下一次调度；如果当前执行任务的GPU集群的空闲运算能力和待释放运算能力的总和满足所述待处理任务对应的用户的最小运算能力要求，则将待处理任务分配至满足最小运算能力要求且需要的GPU数量最少的GPU集群，并将所述GPU集群中待释放运算能力对应的当前执行任务保存后挂起。