[发明专利]一种矩阵数据的处理方法、装置、电子设备及存储介质

说明书

本发明公布了提供一种矩阵数据的处理方法，包括：获取所述递归神经网络的待处理矩阵数据以及权重矩阵数据，所述待处理矩阵数据以及权重矩阵数据均由矩阵元素构成，所述矩阵数据包括由所述矩阵元素构建的列式矢量；根据所述递归神经网络的规模参数，匹配与所述规模参数对应的元素并行参数以及矢量并行参数；根据所述元素并行参数以及矢量并行参数对所述权重矩阵数据进行分块，得到权重矢量块；根据数据处理任务的数量和时间轴关系，配置对应数量的管道线程；通过所述管道线程对所述权重矢量块与所述待处理矩阵元素进行计算，得到所述待处理矩阵数据的处理结果。通过灵活配置多线程硬件资源从而可以在多个模型并行情况下，提高硬件系统的效率。

技术领域

本发明涉及机器学习领域，更具体的说，是涉及一种矩阵数据的处理方法、装置、电子设备及存储介质。

背景技术

随着机器学习的快速发展，递归神经网络(RNN，Recurrent Neural Networks)已被证明具有许多重要应用程序的有用特性。由于它们可以记录先前的信息以提高预测精度，因此RNN被应用于诸如语音识别，自然语言处理和视频分类，并被开发研究出多种变体。其中，在许多RNN变体中，两个最受欢迎的是长短期记忆网络(LSTM)和门控循环单元(GRU)。但是，RNN计算中的数据依赖性使系统停滞，直到所需的隐藏向量从完整管道返回以开始下一个时间步长计算为止，如图1a所示，在图1a中，必需等隐藏向量h_t返回才开始下一个时间步长计算。而且，通常使用较深的流水线来达到较高的工作频率，由于需要清空系统流水线，因此使停滞损失的情况更糟，在停滞的过程中使硬件资源闲置，目前大多数硬件加速器只能支持运行一个模型，多个模型并行计算的时候，会依次运行，这降低了系统效率，增加了系统延时，如图1b所示，计算内核依次执行三个模型LSTM1、LSTM2、LSTM3，其中，模型LSTM1中包括两个时间步，分别为TS1、TS2，在TS1、TS2之间存在一个停滞Idel，模型LSTM2中包括三个时间步，分别为TS1、TS2、TS3，则存两个停滞Idel，模型LSTM3中包括两个时间步，分别为TS1、TS2，存在一个停滞Idel。因此，现有的RNN对硬件资源的利用率不高，而且，需要多个模型并行计算时，硬件系统的效率低。

申请内容

本发明的目的是针对上述现有技术存在的缺陷，提供一种矩阵数据的处理方法，提高RNN对硬件资源的利用率，通过灵活配置多线程硬件资源从而可以在多个模型并行情况下，提高硬件系统的效率。

本发明的目的是通过以下技术方案来实现的：

第一方面，本发明实施例提供一种矩阵数据的处理方法，用于递归神经网络，所述方法包括：

获取所述递归神经网络的待处理矩阵数据以及权重矩阵数据，所述待处理矩阵数据以及权重矩阵数据均由矩阵元素构成，所述矩阵数据包括由所述矩阵元素构建的列式矢量；

根据所述递归神经网络的规模参数，匹配与所述规模参数对应的元素并行参数以及矢量并行参数；

根据所述元素并行参数以及矢量并行参数对所述权重矩阵数据进行分块，得到权重矢量块；

根据数据处理任务的数量和时间轴关系，配置对应数量的管道线程；

通过所述管道线程对所述权重矢量块与所述待处理矩阵元素进行计算，得到所述待处理矩阵数据的处理结果。

可选的，所述根据数据处理任务的数量和时间轴关系，配置对应数量的管道线程，包括：

根据所述数据处理任务的数量，配置对应数量的管道线程；

根据所述时间轴关系，配置对应管道线程的线程长度和线程起始时间点。

可选的，所述通过所述管道线程对所述权重矢量块与所述待处理矩阵元素进行计算，得到所述待处理矩阵数据的处理结果，包括：

将所述管道线程加载到计算内核；