[发明专利]适用于卷积神经网络前向传播的消息队列构建方法及装置

权利要求书

1.一种适用于卷积神经网络前向传播的消息队列构建方法，其特征在于，包括：

服务端的输入队列接收客户端发送的数据，对接收到的数据分配唯一标识符，生成待处理数据；

所述服务端的计算单元按照第一预设轮询间隔查询所述输入队列中的待处理数据中是否具有待消费的请求数据，如果查询到有所述待消费的请求数据，则将所述待消费的请求数据从所述输入队列中取出，将所述待消费的请求数据打包拷贝至所述计算单元；

所述计算单元将所述待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算，得到处理后的数据；

所述服务端的输出队列获取所述处理后的数据，将所述处理后的数据发送至客户端；

其中：

所述计算单元将所述待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算包括：

所述计算单元将所述待消费的请求数据按照预设尺寸进行整合，依次经过至少两个预设卷积神经网络模型进行计算；

所述计算单元将所述待消费的请求数据按照预设尺寸进行整合，依次经过至少两个预设卷积神经网络模型进行计算包括：

对单次获得得到的所述待消费的请求数据进行分层打包，为每组数据选取合适的模型多次调度，根据调度方式将数据处理方式转化为多个单模型场景进行批量数据处理，并通过模型间的链接降低重复拷贝次数，进行并行化运算。

2.根据权利要求1所述的方法，其特征在于，所述计算单元将所述待消费的请求数据按照预设尺寸进行整合，按照并行化运算方式进行卷积神经网络模型计算包括：

所述计算单元根据输入的数据的通道数、宽、高值通过批处理的方式进行整合并进行并行化计算。

3.根据权利要求1所述的方法，其特征在于，所述输出队列将所述处理后的数据发送至客户端包括：

所述输出队列将所述处理后的数据通过数据分发的方式发送至所述客户端。

4.根据权利要求1所述的方法，其特征在于，

所述计算单元将所述待消费的请求数据按照预设尺寸进行整合之前，还包括：

所述计算单元根据所述唯一标识符建立数据访问索引；

所述服务端的输出队列获取所述处理后的数据包括：

所述服务端的输出队列根据所述数据访问索引获取与所述唯一标识符对应的处理后的数据。

5.根据权利要求1所述的方法，其特征在于，所述计算单元将所述待消费的请求数据按照预设尺寸进行整合之前，还包括：

所述计算单元对每个所述卷积神经网络模型建立与所述唯一标识符匹配的标识索引方式。

6.根据权利要求1所述的方法，其特征在于，所述计算单元将所述待消费的请求数据按照预设尺寸进行整合包括：

所述计算单元根据实际运算内存分配量确定数据切片大小，并根据确定的切片大小将所述待消费的请求数据进行整合。

7.根据权利要求1所述的方法，其特征在于，还包括：

所述客户端按照第二预设轮询间隔根据所述唯一标识符获取所述处理后的数据。