[发明专利]数据处理方法、装置、计算机设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

获取输入数据流；

对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；

将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；

采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；

以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；

通过监听模式，对所述死锁队列进行监听，得到n个监听数据；

对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。

2.如权利要求1所述的数据处理方法，其特征在于，所述对所述输入数据流按照预设的分片数目n进行数据分片，得到n个基础数据流，包括：

获取所述输入数据流的数据记录的条数，并对每条所述数据记录进行顺序编号，得到每一所述数据记录的序号；

针对每条所述数据记录，使用所述序号对所述预设的分片数目n进行取模运算，得到该数据记录的序号模；

将序号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础数据流，得到n个所述基础数据流。

3.如权利要求1所述的数据处理方法，其特征在于，所述采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，包括：

采用并行处理方式对所述基础数据流进行数据处理。

4.如权利要求1所述的数据处理方法，其特征在于，以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中，包括：

获取所述神经网络集合中的节点神经网络的分发列表信息；

从所述分发列表信息中提取每一所述节点神经网络的工作状态标识；

若所述工作状态标识为节点在线，则将与所述工作状态标识对应的节点神经网络作为死锁队列；

将所述初始处理结果以神经网络回传块方式发送至所述死锁队列中。

5.如权利要求1所述的数据处理方法，其特征在于，所述通过监听模式，对所述死锁队列进行监听，得到n个监听数据，包括：

依序读取所述死锁队列中的元素；

若监听到当前读取的所述死锁队列的元素不为空，则继续执行所述依序读取所述死锁队列中的元素的步骤，直到监听到当前读取的所述死锁队列的元素为空为止，得到所述n个监听数据。

6.一种数据处理装置，其特征在于，所述数据处理装置包括：

输入数据流获取模块，用于获取输入数据流；

基础数据流获取模块，用于对所述输入数据流按照预设的分片数目n进行数据分片，得到n份基础数据流，其中，n为正整数；

分发模块，用于将n份所述基础数据流分发到神经网络集合中的n个节点神经网络中；

初始处理结果获取模块，用于采用对应的所述节点神经网络对接收到的每一所述基础数据流进行数据处理，得到每个所述节点神经网络的初始处理结果；

初始结果发送模块，用于以神经网络回传块方式将每个所述节点神经网络的所述初始处理结果发送至与所述节点神经网络对应的死锁队列中；

监听数据获取模块，用于通过监听模式，对所述死锁队列进行监听，得到n个监听数据；

目标处理结果获取模块，用于对n个所述监听数据通过加权求和的方式进行计算，得到目标处理结果。

7.如权利要求6所述的数据处理装置，其特征在于，所述基础数据流获取模块，包括：

序号获取单元，用于获取所述输入数据流的数据记录的条数，并对每条所述数据记录进行顺序编号，得到每一所述数据记录的序号；

序号模计算单元，用于针对每条所述数据记录，使用所述序号对所述预设的分片数目n进行取模运算，得到该数据记录的序号模；

基础数据流获取单元，用于将序号模相同的数据记录分入同一个分片集合中，并将每个所述分片集合中的数据记录作为一个基础数据流，得到n个所述基础数据流。