[发明专利]一种数据处理的方法、数据处理装置和电子设备

说明书

本公开涉及一种数据处理的方法、数据处理装置和电子设备。其中该数据处理装置可以包括在组合处理装置中，该组合处理装置还可以包括通用互联接口和其他处理装置。该数据处理装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与数据处理装置和其他处理装置连接，用于数据处理装置和其他处理装置的数据服务。借助于本公开的内容，可以避免数据处理装置内部的逐级反馈，保证数据处理装置在单条管道模型中实现最大程度的无阻塞。

技术领域

本公开涉及计算机领域，更具体地涉及一种数据处理的方法、数据处理装置和电子设备。

背景技术

在现有的多核并行方案中需要通过设置模型并行度(mp)、数据并行度(dp)、多线程(multi-thread)、网络结构参数(n)四个参数来实现，现有的多核并行计算的设置方式参数复杂，对用户不够友好。具体情况如下：

例如在图1中示出了现有技术的多核并行的技术方案100。数据提供器102(dataprovider)负责准备输入数据，推理机104(inferencer)进行数据处理，然后把处理完的数据传递出去，即传递给后处理器106(post processor)。但是推理机104传递完了之后还要等待后处理器106处理的结果。等后处理器106处理结果出来之后，后处理器106才告诉推理机104数据处理完毕。推理机104然后从数据提供器102再拿数据，继续进行上述的操作。后处理器106负责收集处理结果，处理完以后把处理结果传递回去让推理机104继续向后处理器106传递数据。当前管道模型(pipeline)的问题在于推理机104阶段，调用流(InvokeStream)后紧跟同步流(Sync Stream)。导致管道模型中的流水其实在推理机104断档。在同步流期间整个管道模型处于静止状态。即整个管道模型只有一次流水数据。

在图1所示的现有技术的方案中实行多核并行(例如图1中所示的并行管道模型I-IV，另外在推理机104中设置有多核)，若需要达到性能最优，需要找到模型并行度、数据并行度、多线程、网络结构参数的最优组合。多线程决定了创建管道模型的数量,数据并行度和网络结构参数决定了一个管道模型一次处理图片的数量(即，数据并行度(dp)×网络结构参数(n)＝批尺寸(batchsize))，模型并行度决定将一次的数据量(即，一次处理图片的数量)拆分到多少个核上执行。

现有技术方案存在的缺陷在于，不用多线程性能上不去。为避免管道模型中断必须发起多个管道模型才能保证中央处理器(CPU)和机器学习处理器之间的流水顺畅。一个管道模型一次处理图片数量(批尺寸，batchsize)的大小对于性能的影响差异巨大。因为一个管道模型一次处理图片的数量增大能够减小流水轮回的次数。

发明内容

为了至少解决在上述背景技术部分所描述的问题，以便提高数据处理的总体性能，本公开提出了如下的技术方案及其多个实施例。

根据本公开的第一方面，提供了一种数据处理的方法，可以包括下面的步骤：

将数据提供器、具有多核的推理机、后处理器依次布置在同一管道模型中；

后处理器将具有多核的推理机并行处理后的数据分叉到相应的工作线程进行后处理，并将后处理得到的反馈数据流经由相应的反馈部件反馈至数据提供器。

根据本公开的第二方面，提供了一种数据处理装置，可以包括：

依次布置在同一管道模型中的数据提供器、具有多核的推理机、后处理器；

其中后处理器将具有多核的推理机并行处理后的数据分叉到相应的工作线程进行后处理，并将后处理得到的反馈数据流经由相应的反馈部件反馈至数据提供器。

根据本公开的第三方面，提供了一种电子设备，包括如上所述的数据处理装置。