[发明专利]计算处理装置及方法

说明书

技术领域

本发明涉及一种适用于例如图案识别装置、图案识别系统、分层滤波计算处理装置等、并且实现网络计算的计算处理装置及方法。 

背景技术

作为在图案识别系统、预测系统以及控制系统等中的应用，利用神经网络的信号处理装置被普遍使用。一般而言，经常将神经网络实现为运行于微处理器上的软件，并且将神经网络作为应用软件提供给个人计算机、工作站等。 

图2是示出使用普通分层耦合神经网络(hierarchically coupled neuralnetwork)的图像处理装置的结构的示例的示意性框图。附图标记21代表作为检测对象的数据，例如光栅扫描图像数据。附图标记22代表从图像数据21中检测预定物体的计算单元，在所例示的示例中其由三层神经网络构成。附图标记23代表与计算结果对应的输出数据面。计算单元22在扫描并参照图像数据21中的预定图像区域24的同时执行处理，由此检测图像中存在的检测对象。输出数据面23是与作为检测对象的图像数据21大小相同的数据面。输出数据面23按扫描顺序存储计算单元22的检测输出，计算单元22在扫描图像数据21的所有区域的同时处理这些区域。由于计算单元22在检测到对象的位置处输出大的值，因此其能够通过扫描输出数据面23来识别对象在图像面中的位置。 

在计算单元22中，附图标记25、26和27代表神经网络的层，并且在各个层中存在预定数量的神经元28。第1层25具有与参照图像的像素数量相等数量的神经元(节点)28。各个神经元通过预定加权系数前馈耦合。 

图3是示出一个神经元28的结构的示例的框图。参考符号in_1到in_n代表输入值，在第2层以及后续层中这些输入值是前一层神经元的输出值。 累积加法器32将输入值和通过学习而获得的系数w_1到w_n的积累积相加。非线性转换处理单元33使用逻辑函数或双曲正切函数(tanh函数)等对来自累积加法器32的累积和进行非线性转换，并输出该转换结果作为检测结果“out”。假定使用通常已知的诸如反向传播算法等的学习算法，针对要检测的各个对象确定分层神经网络中的各个神经元所需的加权系数w_1到w_n。 

为了实现嵌入式设备等中的这种分层耦合神经网络的高性能和低成本的目的，提出了使用模拟硬件或数字硬件的实现方法。 

日本特许第2679730号说明书(特许文献1)公开了一种分层结构神经网络的构造，其使用作为时分复用的单层模拟神经网络硬件实现多层结构。此外，日本特开平3-55658号公报(特许文献2)公开了一种使用数字硬件的实现方法。 

另一方面，已知一种使用被称为卷积神经网络(Convolutional NeuralNetworks)的神经网络的计算方法，被作为实现防止识别对象变化的稳健性的图案识别的方法。在下文中，将卷积神经网络简称为“CNN”。例如，日本特开平10-021406号公报(特许文献3)和日本特开2002-358500号公报(特许文献4)提出了将CNN计算应用到图像中的对象识别或检测的示例。 

图4是示出作为简单CNN的示例的逻辑网络结构的框图。图4示出了三层CNN的示例，其中第1层406的特征数是3，第2层410的特征数是2，第3层411的特征数是1。附图标记401代表与光栅扫描图像数据对应的图像数据。附图标记403a至403c代表第1层406的特征面。特征面是表示在使用预定特征提取滤波器(卷积计算的累积和及非线性处理)扫描前一层数据时通过计算而获得的结果的图像数据面。由于特征面由光栅扫描图像数据的检测结果定义，所以用平面来表示特征面。通过对应的特征提取滤波器由图像数据401来生成特征面403a到403c。例如，通过典型对应于卷积核404a到404c的二维卷积滤波计算以及对计算结果的非线性转换，来生成特征面403a到403c。注意，附图标记402代表卷积计算所需的参照图像区域。 

例如，具有11×11的核大小(水平方向上的长度和垂直方向上的高度)的卷积滤波计算通过如下给出的积和计算来处理数据：