[发明专利]神经网络模型处理方法、装置及终端

说明书

本发明提供了一种神经网络模型处理方法、装置及终端，涉及神经网络的技术领域，该方法包括：对于神经网络模型的每个卷积层，从存储器读取当前卷积层的参数编码字符，对参数编码字符进行解码得到当前卷积层的参数；根据当前卷积层的参数对当前卷积层进行卷积计算，得到计算结果；对计算结果进行编码并存储至存储器作为当前卷积层的下一卷积层的参数编码字符之一。本发明实施例提供的神经网络模型处理方法、装置及终端，有效减少了神经网络模型的存储量，为终端布署大型神经网络模型提供了可能性，同时也节约了存储器读取次数，减少了计算过程中与存储器之间的交互时间，进一步加速了神经网络模型的推理过程，也提高了神经网络模型的计算速率。

技术领域

本发明涉及神经网络应用的技术领域，尤其是涉及一种神经网络模型处理方法、装置及终端。

背景技术

量化神经网络是为解决浮点神经网络的参数量巨大和计算量巨大导致的不易在终端设备上被布署的问题而提出的一类神经网络。通常以低位定点数来表示原为浮点形式的权重值和激活值，具体的实现硬件主要以FPGA(Field－Programmable Gate Array，现场可编程门阵列)为主。

通常，在一个量化神经网络当中，会存在卷积核和特征图的局部模式重复存储的现象，导致有浪费的存储的空间，使得大网络的布署受到限制，并且，卷积核参数的权重值，以及激活函数所占存储量较大，导致每次卷积计算模块需要从DDR(Double Data Rate双倍速内存)读入数据和将计算结果写入DDR的时间较长，严重限制了量化神经网络的计算速率。

发明内容

有鉴于此，本发明的目的在于提供一种神经网络模型处理方法、装置及终端，以缓解上述限制量化神经网络的计算速率，以及大网络的布署受到限制的技术问题。

第一方面，本发明实施例提供了一种神经网络模型处理方法，该方法包括：对于神经网络模型的每个卷积层，从存储器读取当前卷积层的参数编码字符，对参数编码字符进行解码得到当前卷积层的参数；根据当前卷积层的参数对当前卷积层进行卷积计算，得到计算结果；对计算结果进行编码，将计算结果的编码存储至存储器作为当前卷积层的下一卷积层的参数编码字符之一。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述从存储器读取当前卷积层的参数编码字符，对参数编码字符进行解码得到当前卷积层的参数的步骤包括：按照当前卷积层的层类型确定输入数据；其中，层类型包括第一卷积层、中间卷积层和最后卷积层；如果确定的输入数据包含权重参数，从存储器读取当前卷积层的权重编码字符，对权重编码字符进行解码得到当前卷积层的权重参数；如果确定的输入数据包含激活参数，从存储器读取当前卷积层的激活编码字符，对激活编码字符进行解码得到当前卷积层的激活参数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述按照当前卷积层的层类型确定输入数据的步骤，包括：如果当前卷积层的层类型为第一层卷积层，确定当前卷积层的输入数据包括权重参数；如果当前卷积层的层类型为中间卷积层和最后卷积层，确定当前卷积层的输入数据包括权重参数和激活参数。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述对计算结果进行编码，将计算结果的编码存储至存储器的步骤包括：如果当前卷积层的层类型属于最后卷积层，将计算结果存储至存储器；如果当前卷积层的层类型不属于最后卷积层，对计算结果进行编码，将计算结果的编码存储至存储器作为当前卷积层的下一卷积层的激活编码字符。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述按照当前卷积层的层类型确定输入数据的步骤之前，还包括：统计神经网络模型包含的卷积核类型的个数；根据卷积核类型的个数设置编码算法和编码算法对应的解码算法；采用编码算法对神经网络模型中各个卷积层的权重参数进行编码，得到各个卷积层的权重编码字符；将各个卷积层的权重编码字符存储至存储器。