[发明专利]一种基于单GPU卡的图像并发处理方法、装置及系统

说明书

本发明实施例公开了一种基于单GPU卡的图像并发处理方法、装置及系统，该方法包括：接收用户提交的任务；将任务加入到任务队列，并为任务配置与之对应的任务线程；将配置好的任务线程按序加入到线程池中；根据图形处理器GPU卡的内存和线程池中每一个任务线程执行时占用的内存，合理的从线程池中选取一个或多个任务线程提交至GPU卡，以便GPU卡对一个或多个任务线程并行处理。通过上述方式，可以保证GPU的资源能够充分利用，避免资源浪费，使其空闲、空余占比大大减少，有效增加了系统的吞吐能力。此外，多个任务线程同时处理，可以具备更好的加速比，进一步提升处理效率。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于单GPU卡的图像并发处理方法、装置及系统。

背景技术

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

目前，深度学习应用最主要的计算方式是前向传播。在现如今大量应用场景需求下，对于深度学习计算性能的要求越来越高。而其中最常用的提高计算性能的方法是使用图形处理器(Graphics Processing Unit，简称GPU)加速计算，以达到更高的系统吞吐量。经典的GPU加速计算注重于发挥GPU加速硬件的性能潜力，将深度学习前向传播过程中计算密集部分使用GPU进行计算，并进行深入优化来达到更高的加速效果。

即便如此，GPU硬件的实际利用率仍然没有达到理想的效果，造成了GPU资源的浪费。

发明内容

本发明实施例的目的在于提供一种基于单GPU卡的图像并发处理方法、装置及系统，用以解决在进行深度学习应用时，CPU硬件的实际利用率不高，造成资源浪费的问题。

为实现上述目的，本发明实施例提供一种基于单GPU卡的图像并发处理方法，该方法包括：

接收用户提交的任务，其中任务为用户根据待处理的对象和处理需求建立的任务；

将任务加入到任务队列，并为任务配置与之对应的任务线程；

将配置好的任务线程按序加入到线程池中，线程池中包含至少两个任务线程；

根据图形处理器GPU卡的内存和线程池中每一个任务线程执行时占用的内存，合理的从线程池中选取一个或多个任务线程提交至GPU卡，以便GPU卡对一个或多个任务线程并行处理。

本发明实施例具有如下优点：接收用户提交的任务后，将任务加入队列后配置与之对应的任务线程。然后根据GPU内存和每一个任务线程占用的内存，确定GPU可以同时处理的任务线程。通过上述方式，可以保证GPU的资源能够充分利用，避免资源浪费，使其空闲、空余占比大大减少，有效增加了系统的吞吐能力。此外，多个任务线程同时处理，可以具备更好的加速比，进一步提升处理效率。

为实现上述目的，本发明实施例提供一种基于单GPU卡的图像并发处理装置，该装置包括：

接收单元，用于接收用户提交的任务，其中任务为用户根据待处理的对象和处理需求建立的任务；

配置单元，用于将任务加入到任务队列，并为任务配置与之对应的任务线程；

处理单元，用于将配置好的任务线程按序加入到线程池中，线程池中包含至少两个任务线程；

根据图形处理器GPU卡的内存和线程池中每一个任务线程执行时占用的内存，合理的从线程池中选取一个或多个任务线程提交至GPU卡，以便GPU卡对一个或多个任务线程并行处理。