[发明专利]基于流水线技术的数据处理方法及相关产品

说明书

本申请涉及一种基于流水线技术的数据处理方法及相关产品，不同处理器执行不同的运算任务，包括第一数据处理操作、第二数据处理操作以及第三数据处理操作，实现了第一处理器和第二处理器同时为多个输入数据的不同数据处理步骤进行工作，减少了第一处理器的运算量，提高了处理数据的效率。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种基于流水线技术的数据处理方法及相关产品。

背景技术

随着数据处理技术的飞速发展，数据处理的方式越来越多。针对不同的技术领域会有不同的数据处理方式，比如，在待处理数据的数据量非常之大的神经网络技术领域，出现了利用神经网络离线模型对神经网络数据进行数据处理的处理方式。其中，神经网络离线模型是一种神经网络的执行方式，首先获取原始网络的模型数据集及模型结构参数，模型数据集包括原始网络中各个计算节点对应的网络权值，模型结构参数包括原始网络中多个计算节点的连接关系及各个计算节点的计算属性；再根据原始网络的模型数据集和模型结构参数运行原始网络，获得原始网络中各个计算节点对应的指令；最后根据原始网络的各个计算节点对应的网络权值及指令，生成原始网络对应的神经网络离线模型。

在传统技术中，针对这些待处理数据的数据量非常之大的技术领域，其数据处理的工作流程多是在CPU(中央处理器)中执行。然而，随着待处理数据的数据量日益增大，采用传统技术存在效率低下的问题。

发明内容

基于此，有必要针对上述效率低下的技术问题，提供一种能够提高数据处理效率的基于流水线技术的数据处理方法及相关产品。

一种基于流水线技术的数据处理方法，所述方法包括：

第一处理器对当前输入数据进行第一数据处理操作，得到当前第一中间结果，之后获取下一输入数据，并对所述下一输入数据进行第一数据处理操作，直至完成最后一个输入数据的第一数据处理操作；

第二处理器获取所述当前第一中间结果，并对所述当前第一中间结果进行第二数据处理操作，得到当前第二中间结果，之后获取所述下一输入数据对应的下一第一中间结果，并对所述下一第一中间结果进行第二数据处理操作，直至完成最后一个第一中间结果的第二数据处理操作；

所述第一处理器获取所述当前第二中间结果，并对所述当前第二中间结果进行第三数据处理操作，得到当前输出结果，之后获取所述下一第一中间结果对应的下一第二中间结果，并对所述下一第二中间结果进行第三数据处理操作，直至完成最后一个第二中间结果的第三数据处理操作；

其中，所述第一处理器对所述下一输入数据进行第一数据处理操作的开始时间不能晚于所述第一处理器对当前第二中间结果进行第三数据处理操作的结束时间。

在其中一个实施例中，所述第一数据处理操作包括数据预处理，和/或所述第二数据处理操作包括数据推理，和/或所述第三数据处理操作包括数据后处理；

其中，若第二数据处理操作包括数据推理，则所述第二处理器获取所述当前第一中间结果，并对所述当前第一中间结果进行第二数据处理操作，得到当前第二中间结果，之后获取所述下一输入数据对应的下一第一中间结果，并对所述下一第一中间结果进行第二数据处理操作，直至完成最后一个第一中间结果的第二数据处理操作，包括：

第二处理器获取所述当前第一中间结果，并使用神经网络离线模型对所述当前第一中间结果进行数据推理，得到当前推理数据，之后获取所述下一输入数据对应的下一第一中间结果，并使用神经网络离线模型对所述下一第一中间结果进行数据推理，直至完成最后一个第一中间结果的数据推理。

在其中一个实施例中，所述第一中间结果包括预处理数据，所述方法还包括：

所述第一处理器查找状态为空闲的输入存储空间，并将预处理数据写入所述空闲的输入存储空间；其中，所述输入存储空间的数量为多个；所述空闲的输入存储空间写入所述预处理数据后，所述空闲的输入存储空间的状态更新为占用状态。