[发明专利]一种请求处理方法及装置

说明书

本申请示出了一种请求处理方法及装置。获取包括有多个第一请求的第二请求；基于GPU对第二请求处理，得到多个第一请求的处理结果。对于GPU而言，其直接得到的是第二请求，然后为第二请求分配一组核单元，一组核单元中的核为多个，在使用该组核单元的核来处理第二请求时，由于第二请求包括有多个第一请求，因此，可以使用该组核单元中的每一个核分别并行处理一个不同的第一请求，如此使得该组核单元中多个核都被用来处理第一请求，相比于该组核单元中仅有一个核被用于处理第一请求，本申请降低了未被使用的核的数量，充分利用了该组核单元中的核，从而可以增加GPU一次同时处理的请求的数量，进而可以提高服务端的吞吐量。

技术领域

本申请涉及计算机技术领域，特别是涉及一种请求处理方法及装置。

背景技术

传统的基于CPU(Central Processing Unit，中央处理器)的并行计算框架可以通过多线程并行处理多个请求，从而可以大大提升吞吐量。

随着技术的飞速发展，GPU(Graphics Processing Unit，图形处理器)得到了广泛使用，例如，在传统的基于CPU的并行计算框架内，引入GPU以进一步地提升处理速度。

例如，为每一个请求分配一个不同的线程，各个线程独立访问CPU及GPU来处理为各自分配的请求。

然而，GPU虽然加快了处理单个请求的速率，但GPU每次计算都只处理少量请求，这样会导致整个服务的吞吐量较低。

发明内容

为解决上述技术问题，本申请实施例示出了一种请求处理方法及装置。

第一方面，本申请实施例示出了一种请求处理方法，所述方法包括：

获取包括有多个第一请求的第二请求；

基于图形处理器GPU对第二请求处理，得到多个第一请求的处理结果；

将所述多个第一请求的处理结果缓存在结果分发队列中，以使各个第一请求响应其对应的处理结果。

在一个可选的实现方式中，所述方法还包括：

确定每一个处理结果是否均被响应；

如果每一个处理结果均被响应，获取包括有多个第三请求的第四请求，然后基于所述GPU对所述第四请求处理，得到多个第三请求的处理结果。

在一个可选的实现方式中，所述方法还包括：

当一个处理结果被响应之后，从结果分发队列中删除被响应的处理结果。

在一个可选的实现方式中，所述确定每一个处理结果是否均被响应，包括：

确定所述结果分发队列中是否还存在处理结果；

如果所述结果分发队列中不存在处理结果，则确定每一个处理结果均被响应。

在一个可选的实现方式中，所述获取包括有多个第一请求的第二请求，包括：

获取在请求等待队列中缓存的多个第一请求；

将多个第一请求批量合并为第二请求；

在一个可选的实现方式中，所述将多个第一请求批量合并为第二请求，包括：

确定各个第一请求的种类；

将相同种类的至少两个第一请求批量合并为第二请求。

在一个可选的实现方式中，所述第一请求为用于将至少一个语言的源信息翻译为另一个语言的目标信息的翻译请求；

所述确定各个第一请求的种类，包括：