[发明专利]一种针对神经网络计算的加速方法及装置

说明书

本发明公开了一种针对神经网络计算的加速方法，该方法包括：根据CPU核的并发能力，确认线程数n；根据线程数和网络的每层参数和每层网络特点，确定单个线程需要计算的网络层数；第一线程的输出作为第二线程的输入，第二线程输出作为第三线程的输入，第n‑1的线程的输出作为第n线程的输入。本发明能够在多核CPU应用环境下，利用多核的计算能力，对神经网络计算进行加速。

技术领域

本发明涉及人工智能技术领域，特别是涉及针对神经网络计算的加速方法及装置。

背景技术

近年，人工神经网络(ANN)在各个领域的应用和技术创新，都层出不穷,人工神经网络具有分类准确度高、学习和处理能力强、对噪声有较强的鲁棒性和容错能力等优点，能够充分逼近复杂的非线性关系。ANN可以表示为多个人工神经元相连接的图，就是节点和有向边，用来对突触进行建模。每个神经元是一个处理单元，它将连接到它的节点的输出作为输入。在最后输出之前，每个神经元会先应用一个非线性激活函数。

深度神经网络(DNN)是人工神经网络的一种，能够更多复杂的分布或者特征，在语音识别及图像识别等领域被广泛使用，能够大幅度的提高语音的转写正确率。

递归神经网络(RNN)是一种可以对时间进行显式建模的深度神经网络，内部含有跨越时间点的自连接隐藏层，也就是隐藏层的反馈及输入，不仅仅传递至下一层，还会被传递至下一时间的当前隐藏层。

语音助手是让智能设备可以听懂人说话，并理解其中的意思。语音识别在该过程中扮演着重要的角色。

目前，市面上的CPU的主流性能是多核的，例如2-4核，其主频在1GHz左右。由于DNN的计算量随着模型复杂度的上升，呈指数增长。为了能够在更多的噪声、口音等条件下，继续保持语音识别功能和性能，语音识别系统必须扩大语音识别所用模型的规模。这个过程需要在性能和体验速度之间平衡。如果实时率因子(RTF)大于1,会导致用户说完后，会等待较长时间，识别系统才能将这句话识别转写。这会对用户带来糟糕的体验。在DNN计算方面，批量计算可以利用矩阵的并行计算特点，有很大的性能改善，这主要由于DNN模型不需要对时间进行建模，具备多时刻(多帧)数据批量计算的基础。近年来，RNN(例如LSTM，LongShort-Term Memory)模型的性能(识别率)比DNN有很大提高，RNN模型要求当前时刻输入中含有上一个时刻的输出，因此不能对多帧数据进行批量计算，这进一步加剧了RNN模型在实时识别上使用的困难。

发明内容

本发明所要解决的技术问题在于克服上述现有技术之不足，提供一种针对神经网络计算的加速方法，该方法包括：

根据CPU核的并发能力，确认线程数n；

根据线程数和网络的每层参数和每层网络特点，确定单个线程需要计算的层数；

第一线程的输出作为第二线程的输入，第二线程输出作为第三线程的输入，第n-1的线程的输出作为第n线程的输入。

优选地，依据所述CPU核的并发能力确定线程个数，例如，如果所述CPU核的个数为4个，则所述线程数可以为3个。

优选地，所述线程数是根据神经网络的参数，平衡计算量。

优选地，所述网络的每层参数是根据神经网络的权重和偏移量。

一种针对神经网络计算的加速装置，该装置包括：

线程数确认模块，用于根据CPU核的并发能力，确认线程数n；

单个线程数计算模块，用于根据线程数和网络的每层参数和每层网络特点，计算单个线程的层数；

传输模块，用于第一线程的输出作为第二线程的输入，第二线程额输出作为第三线程的输入，第n-1的线程的输出作为第n线程的输入。