[发明专利]一种基于神经网络的任务处理方法及相关设备

说明书

本发明实施例公开了一种基于神经网络的任务处理方法及相关设备，涉及计算机网络技术领域，该方法包括：获取输入数据，其中，输入数据用于触发线程任务，输入数据为源输入数据或缓存交换数据；根据触发的至少两个线程任务，并行调度对应的至少两个模块线程，对输入数据进行处理，产生处理结果数据；其中，至少两个模块线程与依据神经网络中的网络层进行划分的至少两个网络模块分别对应；将处理结果数据输出至缓存，以作为其他模块线程的缓存交换数据，或，输出处理结果数据，以作为源输入数据的处理结果。本发明实施例通过将神经网络中的不同网络模块的任务分配到不同的模块线程上并行执行，提升了神经网络相关应用在多核处理器上的运行效率。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种基于神经网络的任务处理方法及相关设备。

背景技术

随着人工智能技术的快速发展，以深度神经网络为代表的机器学习方法在计算机视觉、语音识别等领域取得了实际应用，成为研究热点。

在实际部署基于神经网络的应用时，不仅要考虑网络本身运算开销，还需考虑应用整体的延时和吞吐量控制。目前，在实际应用，尤其是部署在移动端的实时类应用，通常使用多核处理器能力，来加速神经网络中的每一层的运算，即将神经网络中的每一网络层的运算任务分配到多个处理器核心进行处理，以通过多个处理器核心来完成同一层的运算。但是，将神经网络中的每一网络层的运算任务分配到多个处理器核心进行处理时，将运算任务分配至多核以及从多核收集计算结果的耗时可能会超过运算本身的耗时，如在单层耗时基本在0.5毫秒以下的情况下，多核之间调度所带来的额外开销(Overhead)可能会比运算本身的开销高，影响加速比。

发明内容

本发明实施例提供一种基于神经网络的任务处理方法及相关设备，以提高加速比，解决了现有技术中神经网络相关应用在多核处理器上的运算效率低的技术问题。

第一方面，本发明实施例提供了一种基于神经网络的任务处理方法，包括：

获取输入数据，其中，所述输入数据用于触发线程任务，所述输入数据为源输入数据或缓存交换数据；

根据触发的至少两个线程任务，并行调度对应的至少两个模块线程，对所述输入数据进行处理，产生处理结果数据；其中，所述至少两个模块线程与依据神经网络中的网络层进行划分的至少两个网络模块分别对应；

将所述处理结果数据输出至缓存，以作为其他模块线程的缓存交换数据，或，输出所述处理结果数据，以作为源输入数据的处理结果。

可选的，所述获取输入数据之前，还包括：对所述神经网络中的各网络层进行划分，得到至少两个网络模块。

可选的，对所述神经网络中的各网络层进行划分，得到至少两个网络模块，包括：分别确定所述神经网络中每两个相邻网络层之间的通道数量；当所述相邻网络层之间的通道数量为一时，将所述相邻网络层中的在前网络层划分为输入网络模块的输入层，将所述相邻网络层中的在后网络层划分为输出网络模块的输出层；基于所述输出网络模块的输出层和所述输入网络模块的输入层，生成至少两个网络模块。

可选的，各个网络模块的处理耗时的差异值小于设定阈值。

可选的，所述模块线程至少包括起始模块线程和末尾模块线程；根据触发的线程任务，调度起始模块线程，对输入数据进行处理包括：调用起始模块线程对源输入数据进行前处理，并基于神经网络的起始网络模块进行任务处理，将处理结果数据输出至缓存，作为缓存交换数据；根据触发的线程任务，调度末尾模块线程，对输入数据进行处理包括：调用末尾模块线程从缓存中获取对应的缓存交换数据作为输入数据，基于神经网络的末尾网络模块进行任务处理，将处理结果数据进行后处理，并输出作为源输入数据的处理结果。