[发明专利]数据处理系统及方法

说明书

本发明实施例提供了一种数据处理系统及方法。其中，数据处理系统包括客户端、代理服务端以及多个数据处理服务端，各数据处理服务端上加载有至少一个数据处理模型；其中，客户端根据接收的数据处理请求，获取数据处理请求所请求使用的数据处理模型的类型；客户端确定与类型相匹配的代理服务端，并将数据处理请求发送到匹配的代理服务端，以使代理服务端根据数据处理请求生成批处理任务，并将批处理任务发送到加载有确定的类型的数据处理模型的数据处理服务端；其中，批处理任务深度学习批处理任务，所述批处理任务使用确定的类型的数据处理模型进行数据处理，所述数据处理服务端为图形处理器GPU。通过本发明实施例，数据处理效果更好。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理系统及方法。

背景技术

数据处理系统是指运用计算机处理信息而构成的系统，其将输入的数据信息进行加工、整理，计算各种分析指标，变为易于被人们所接受的信息形式，并将处理后的信息进行有序贮存，随时通过外部设备输给信息使用者。一种数据处理系统如图1所示，其包括多个实现不同功能的服务端，例如，客户端101’和数据处理服务端102’。以用于提供在线翻译服务的数据处理系统为例，客户端101’可以用于将待翻译的一段文字拆分为多个句子，并针对每个句子生成对应的请求，使数据处理服务端102’对其进行处理。

现有的数据处理系统中，数据处理服务端102’在采用CPU(Central ProcessingUnit，中央处理器)进行计算以处理请求时，请求与请求之间是独立的，这就使得请求的处理可以并发执行。为了保证服务端的负载均衡，客户端101’采用轮询(round-robin)的方式将请求发送到数据处理服务端102’。

但是，随着复杂算法和应用(如深度学习算法和应用)的广泛使用，计算资源的需求也越来越密集，传统的使用CPU计算进行数据处理的方式已经无法满足新的计算需求，所以数据处理系统引入了GPU(Graphics Processing Unit，图形处理器)作为数据处理系统的计算硬件。GPU与CPU不同，在使用GPU进行计算时，需要将请求进行合并组成一个批处理任务再由GPU进行统一计算。这样批处理任务中的请求之间无法独立并发执行，使得传统轮询分发请求的方式不能很好地适应GPU计算的使用场景。

以数据处理系统为在线翻译服务系统为例，传统的数据处理服务端102’处理请求的过程如图2所示步骤S1’到步骤S4’。在此过程中，针对某个数据处理服务端102’，如果数据处理服务端102’上加载了不同的数据处理模型时，那么在数据处理服务端102’上每个数据处理模型都有对应的队列来缓存与该数据处理模型对应的请求。数据处理服务端102’上的工作线程轮询这些队列，然后将队列中的请求组成批处理任务并提交给GPU进行处理，以依次处理各个队列中的请求。

这种情况下，客户端101’通轮询多个数据处理服务端102’，并将请求发送给某个数据处理服务端102’的请求分发方式，虽然解决了负载均衡的问题，但是，针对一些请求密度小的数据处理模型的请求，由于这些请求被平均分散到各个数据处理服务端102’上，导致分摊在每个数据处理服务端102’上的请求数量很少，以这些请求组合出的批处理任务的尺寸(size)会很小，而GPU不论批处理任务的尺寸大小如何，执行该批处理任务都要占用整个GPU的计算资源，从而导致了计算资源的浪费。

发明内容

有鉴于此，本发明实施例提供一种数据处理方案，以解决上述部分或全部问题。