[发明专利]用在深度神经网络的指数运算方法、计算机装置、记录介质

摘要

一种用在深度神经网络的指数运算方法，其预先将该深度神经网络的每一个神经元的该权重矩阵中的权重值正规化并量化成能以指数2‑i表示的量化后权重值，且预先将要输入该深度神经网络的一图像数据的数个图素值正规化并量化成能以指数2‑j表示的量化后图素值，再将所述量化后图素值输入该深度神经网络，使该深度神经网络的第一层的各该神经元以量化后的该权重矩阵、指数乘法器、指数加法器及指数减法器对所述量化后图素值进行卷积运算，借此降低深度神经网络的运算复杂度及电路复杂度，提高深度神经网络的指令周期并减少内存空间的占用。本发明还提供一种计算机装置及记录介质。

主权项

1.一种用在深度神经网络的指数运算方法，该深度神经网络载于一计算机装置并具有一由数个前后相互连结的层构成的隐藏层，该隐藏层中的每一层具有数个神经元，每一个神经元具有由m个(m为整数且m≧1)权重值构成的一权重矩阵，其特征在于：/n该方法包括：/n该计算机装置的一预处理模块预先将该深度神经网络的每一个神经元的该m个权重值正规化，使该m个正规化权重值落在-1～+1之间的范围，并将各该正规化权重值量化成能以指数2^-i表示的量化后权重值，且该预处理模块以X位元表示所述量化后权重值的数个群组；/n该预处理模块预先将要输入该深度神经网络的一图像数据的数个图素值正规化，使所述正规化图素值落在-1～+1之间的范围，并将各该正规化图素值量化成能以指数2^-j表示的量化后图素值，且该预处理模块以Y位元表示所述量化后图素值的数个群组；/n该预处理模块将所述量化后图素值输入该深度神经网络的该隐藏层中的第一层，使第一层的各该神经元以量化后的该权重矩阵对所述量化后图素值进行卷积运算，且在每一次的卷积运算中，各该神经元利用一指数乘法器将该m个量化后权重值2^-i分别与所述量化后图素值中重叠的部分量化后图素值2^-j相乘而得到m个乘积，其中，该指数乘法器计算每一个乘积的公式为：/n2^-i×2^-j＝2^-(i+j)，若i,j≠(2^N-1)且i+j≦(2^N-1)；/n 若i+j>(2^N-1)或i＝(2^N-1)或j＝(2^N-1)；/n其中若X＝Y则N＝X，若X≠Y则N取X、Y两者中较大者；及/n在每一次的卷积运算中，各该神经元将所述乘积m中为正值的部分乘积输入一指数加法器中累加而得到一正累加值2^-p，并另外将所述乘积m中为负值的部分乘积输入该第一指数加法器中累加而得到一负累加值2^-q，再将该正累加值2^-p与该负累加值2^-q输入一指数减法器相减而得到一特征值r；/n其中，该指数加法器计算两个指数2^-a和2^-b相加的公式为：/n2^-a+2^-b＝2^-c，若a≠b，则c取a、b两者中较小者；/n2^-a+2^-b＝2^-a+1，若a＝b且a≠(2^N-1)且2^-a+1<2⁰；/n2^-a+2^-b＝2⁰，若a＝b且a≠(2^N-1)且2^-a+1≥2⁰；/n2^-a+2^-b＝2^-a，若b＝(2^N-1)；/n其中，该指数减法器计算该特征值r的公式为：/nr＝2^-p-2^-q＝2^-p，若p≦q-1或q＝(2^N-1)；/n 若p＝q；/nr＝2^-p-2^-q＝-2^-q，若p＝q+1；/nr＝2^-p-2^-q＝2^-p，若q＝p+1；/nr＝2^-p-2^-q＝-2^-q，若q≦p-1或p＝(2^N-1)。/n