[发明专利]用在深度神经网络的指数运算方法、计算机装置、记录介质

说明书

一种用在深度神经网络的指数运算方法，其预先将该深度神经网络的每一个神经元的该权重矩阵中的权重值正规化并量化成能以指数2^‑i表示的量化后权重值，且预先将要输入该深度神经网络的一图像数据的数个图素值正规化并量化成能以指数2^‑j表示的量化后图素值，再将所述量化后图素值输入该深度神经网络，使该深度神经网络的第一层的各该神经元以量化后的该权重矩阵、指数乘法器、指数加法器及指数减法器对所述量化后图素值进行卷积运算，借此降低深度神经网络的运算复杂度及电路复杂度，提高深度神经网络的指令周期并减少内存空间的占用。本发明还提供一种计算机装置及记录介质。

技术领域

本发明涉及一种指数运算方法，特别是涉及一种应用在深度神经网络的指数运算方法。

背景技术

深度神经网络是机器学习中一种深度学习的方法，借由其模仿生物神经系统的数学模型，不断地对其提供大量的数据进行不同阶层与架构的多次运算和训练，即能训练出优化且最有效的一数据识别模型。如图1所示，深度神经网络通常包含一输入层11、一输出层12以及连接该输入层11与该输出层12，且位于该输入层11与该输出层12之间的隐藏层13，隐藏层13由数个前后相互连结的层14构成，其中每一层14具有数个神经元141，每一个神经元141具有如图2所示的一由数个(例如3x3)权重值W构成的权重矩阵10。由该输入层11输入的数据，例如图2所示的一张具有5x5个图素D的图像20会被输入隐藏层13中的第一层14的每一个神经元141，各该神经元141会在图像上依序移动该权重矩阵10，并在权重矩阵10每一个经过的位置，让权重矩阵10中的权重值W与图像20上重叠(对应)的部分图素D相乘并加总(即卷积运算)而得到一特征值R，各该神经元141再将权重矩阵10经过图像20上所有位置后运算得到的所述特征值R输出给第二层14的每一个神经元141，使第二层14的每一个神经元141对输入的所述特征值R进行如上所述的卷积运算，并将运算结果再输出给其下一层14的每一个神经元141，依此类推，直到最后一层14的每一个神经元141输出运算结果给输出层12。

但该权重矩阵10中的权重值W和输入的数据D通常以浮点数表示，因此神经元141除了需要利用浮点乘法器对权重值W和输入的数据D进行浮点数相乘运算外，由于浮点数相乘运算的运算量大且乘法运算也比加法运算来得相对复杂，因此浮点数的乘法运算比加法运算耗费更多的时间。而且以逻辑电路实现的浮点乘法器体积相较于加法器更为庞大，使得采用浮点乘法器的深度神经网络被实作成硬件电路的体积相对庞大。此外深度神经网络的权重值W和最终输出的运算结果都是以浮点数储存，因此会占用大量的内存空间。

发明内容

本发明的一目的在于提供一种用在深度神经网络的指数运算方法，以及实现该方法的计算机装置和计算机可读取的记录介质，其能降低深度神经网络的运算量、运算复杂度及电路复杂度，以及减少内存空间的占用并提高深度神经网络的指令周期。