[发明专利]一种基于多GPU卡的图像并发处理方法、装置及系统

说明书

本发明实施例公开了一种基于多GPU卡的图像并发处理方法、装置及系统，该方法包括：接收用户提交的任务；将任务加入到任务队列，并为任务配置与之对应的任务线程，设定任务线程编号；将配置好的任务线程按序加入到线程池中，线程池中包含至少两个任务线程；根据任务线程的编号，从多个图形处理器GPU卡中匹配执行任务线程的GPU卡；根据第一GPU卡的内存和与之匹配的每一个任务线程执行时占用的内存，合理的从线程池中选取一个或多个与第一GPU卡匹配的任务线程提交至第一GPU卡。通过上述方式，可以保证GPU的资源能够充分利用，避免资源浪费，有效增加了系统的吞吐能力。此外，多个任务线程同时处理，服务器的计算能力得到进一步的提升。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于多GPU卡的图像并发处理方法、装置及系统。

背景技术

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

目前，深度学习应用最主要的计算方式是前向传播。在现如今大量应用场景需求下，对于深度学习计算性能的要求越来越高。而其中最常用的提高计算性能的方法是使用图形处理器(Graphics Processing Unit，简称GPU)加速计算，以达到更高的系统吞吐量。经典的GPU加速计算注重于发挥GPU加速硬件的性能潜力，将深度学习前向传播过程中计算密集部分使用GPU进行计算，并进行深入优化来达到更高的加速效果。

而多GPU卡加速技术的引入，一台高性能服务器的计算能力得到显著提高，相比单GPU卡加速服务器，多GPU卡服务器的计算能力随GPU卡数量的增加得到了几乎线性的提升。即便如此，由于GPU硬件的实际利用率没有达到理想的效果，其不仅仅造成了GPU资源的浪费，还阻碍了服务器的计算能力的进一步提升。

发明内容

本发明实施例的目的在于提供一种基于多GPU卡的图像并发处理方法、装置及系统，用以解决在进行深度学习应用时，CPU硬件的实际利用率不高造成资源浪费，以及避免服务器计算能力不能进一步提升的问题。

为实现上述目的，本发明实施例提供一种基于多GPU卡的图像并发处理方法，该方法包括：

接收用户提交的任务，其中任务为用户根据待处理的对象和处理需求建立的任务；

将任务加入到任务队列，并为任务配置与之对应的任务线程，并确定任务线程的设定任务线程编号；

将配置好的任务线程按序加入到线程池中，线程池中包含至少两个任务线程；

根据任务线程的编号，从多个图形处理器GPU卡中匹配执行任务线程的GPU卡；

根据第一GPU卡的内存和与之匹配的每一个任务线程执行时占用的内存，合理的从线程池中选取一个或多个任务线程提交至第一GPU卡，以便第一GPU卡对一个或多个任务线程并行处理，其中，一个或多个任务线程与第一GPU卡相匹配，第一GPU卡为多个GPU卡中的任一个GPU卡。

本发明实施例具有如下优点：接收用户提交的任务后，将任务加入队列后配置与之对应的任务线程，每一个任务线程设定编号。然后为每一个任务线程匹配执行该线程的GPU卡。后续可以根据每一个GPU卡的内存和已经为该GPU卡分配好的线程中每一个线程占用的内存，确定该GPU卡可以并行处理的线程。然后提交任务，便于GPU卡进行处理。通过上述方式，可以保证每一个GPU卡的资源都能够得到充分利用，避免资源浪费，使其空闲、空余占比大大减少，有效增加了系统的吞吐能力。此外，多个任务线程同时处理，多个GPU卡同时工作，可以具备更好的加速比，进一步提升处理效率，也即是服务器的计算能力得到进一步的提升。

为实现上述目的，本发明实施例提供一种基于多GPU卡的图像并发处理装置，该装置包括：