[发明专利]多层人造神经网络装置及其控制方法

说明书

本发明提供一种多层人造神经网络装置及其控制方法，其中包含多个神经元、一储存装置与一控制器。该多个神经元用以根据多个参数进行运算。该储存装置用以储存多组参数，其中的每一组参数各自对应于一运算层。该控制器于一第一时间点控制该储存装置将对应于一第一运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第一运算层的至少一部份。该控制器并于一第二时间点控制该储存装置将对应于一第二运算层的一组参数提供给该多个神经元，以令该多个神经元构成该第二运算层的至少一部份。

技术领域

本发明与人造神经网络(artificial neural network)相关，并且尤其与能用于进行深度学习(deep learning)的多层人造神经网络相关。

背景技术

以人造神经网络进行机器学习的概念存在已久，但先前受限于处理器运算能力，相关研究始终无法顺利推进。近十年来，随着处理器运算速度、存储器存取速度以及机器学习演算法等各方面技术的长足进步，能产出正确判断结果的人造神经网络逐渐成为可能，因而在自动驾驶、影像辨识、自然语言辨识、数据探勘等领域中重新受到高度重视。

大脑中最基本的运算单位—神经元，是通过多个树突(dendrite)收集多个输入信号，并通过轴突(axon)传递输出信号(通常是传递至另一个神经元的树突作为输入信号)。单一人造神经元的典型运作可被数学化表示如下：

y＝f(∑_iw_ix_i+b)，

其中符号x表示输入信号，y表示输出信号；每一个树突各自加诸于其输入信号x的权重w是模拟该树突所连接的前一个神经元对于此神经元的影响程度；符号b表示此神经元本身贡献的偏移量(bias)。符号f代表一特定非线性函数，在人造神经网络中常用Σ函数(sigmoid function)、双曲正切函数(tanh function)或是整流后线性函数(rectifiedlinear function)进行实际运算。

一个人造神经网络所采行的判断规则可说是由该网络中所有神经元的权重w与偏移量b共同定义。采用监督式学习(supervised learning)的人造神经网络会在学习过程中将训练样本输入人造神经网络，并根据最后产出的判断结果调整各个神经元的权重w与偏移量b，以期找出令判断结果与训练样本相符的对映规则。采用非监督式学习(unsupervised learning)的人造神经网络则是在不知道判断结果与训练样本是否相符的情况下，自行调整各个神经元的权重w与偏移量b，设法找出潜在规则。无论是采用哪一种学习策略，目标皆是为网络中的每一个神经元找出适当的参数(权重w、偏移量b)供日后使用。

现行的人造神经网络通常被设计为具有多层(multi-layer)结构。除了最前端的输入层与最后端的输出层，其他串接在输入层与输出层之间的称为隐藏层(hiddenlayer)。输入层用以接收外部数据，不进行运算。隐藏层与输出层则是各自以前一层的输出信号做为当层的输入信号，并且各自包含多个根据前述数学式进行运算的神经元。若以神经元连接方式区分，每一个隐藏层与输出层可以各自是一卷积层(convolutional layer)或一全连接层(fully-connected layer)。卷积层与全连接层的主要差别在于：全连接层中的每一个神经元都会被各自连接到其相邻前后层中的所有神经元，而卷积层中的每一个神经元只会被连接到前一层中的部分神经元。为了减少参数的数量，卷积层中的多个神经元会共用同一组权重w与偏移量b。目前有多种人造神经网络架构，对于卷积层与全连接层的配置组合各有不同的规划。以Alex Krizhevsky等学者于2012年提出的AlexNet架构为例，其中总共包含六十五万个神经元，构成依序串接的五个卷积层以及三个全连接层。

一般而言，人造神经网络中的层数愈多，愈能模拟复杂的函式(亦即较复杂的判断规则)。然而，当层数增加，整个网络中所需要的神经元数量会随之大幅增长，导致庞大的硬件成本负担。此难处无疑是日后将人造神经网络推广应用至消费性电子产品的阻碍。

发明内容