[发明专利]图像识别方法及装置

说明书

本发明提供一种图像识别方法及装置。所述方法包括：取得图像，并撷取图像中的多个特征点；取得胶囊网络，其中胶囊网络依序包括卷积层、主胶囊层、路由胶囊层及输出层；将图像及所述特征点输入卷积层以产生多个特征向量；将所述特征向量及所述特征点输入主胶囊层，以产生多个活动向量；以及由路由胶囊层及输出层基于上述活动向量产生对应于图像的识别结果。本发明对于胶囊网络的架构及运作机制进行了改良，并将所欲识别图像中的几何信息引入整体的识别机制中，从而可对图像进行较佳的几何理解，并有助于改善整体识别的准确性。

【技术领域】

本发明是有关于一种图像识别方法及装置，且特别是有关于一种引入胶囊网络技术的图像识别方法及装置。

【现有技术】

卷积神经网络(convolutional neural network，CNN)是目前主流的图像识别技术，其可通过卷积操作提取局部特征、池化操作舍去冗余特征、最后再通过全连接层以达到识别对象的效果。由于卷积操作可以充分利用图像局部相关性，并可通过权值共享与池化操作降低参数量与复杂度，进而在识别领域上达到足以取代人工、商业化的价值，也宣布了人工智能时代的来临。

胶囊网络(capsule network)的诞生来自于CNN的成功。具体而言，虽然CNN的卷积与池化操作造就了良好的特征撷取能力，但同时亦产生了本质上的问题，即“标量输入/标量输出(Scalar in/Scalar out)”。在此情况下，由于对对象的理解仅用纯量来表示，因而使得一个相同的对象经过了旋转或翻转后，就会变成另外的一组特征。这也可能造成虽然许多组特征皆为同一种对象，但传统神经网络却未能察觉的情况。

胶囊网络将特征撷取的方式做了突破性的改良，即“向量输入/向量输出(Vectorin/Vector out)”。在胶囊网络中，可通过一组特征向量记录对象的基本信息与形变信息，进而从本质上解决CNN在相同对象经过了旋转或翻转后会变成不同的特征的问题。

与传统神经网络的区别在于，胶囊网络中的每一个神经元都是由一个胶囊所组成，而每个胶囊的目标是检测目标对象的特性。这个特性可通过个别胶囊的输出转化为一个向量，而此向量的长度与方向能分别具备特殊意义。例如，向量的长度可表征此胶囊所检测的对象存在的机率，而向量的方向可表征所检测的对象所具有的特性(例如：位置、大小、材质、角度.....等)。

与传统神经网络相同的是，上述向量(传统神经网络是纯量)代表着较低阶层的对象特征，而较高阶层的神经元可通过多个较低阶层的对象特征信息来检测较高阶层对象的特性。相同地，此特性会同样将被转化为一个向量，借此来达到神经元的运作。

与传统神经网络不同的地方在于，低阶层对象特征向量的方向性将可能影响高阶层特征对象的存在机率。举例来说，两个互相垂直的眼睛是无法构成一个人脸的。

传统神经网络的成功有目共睹，其能力也远超乎人类过往的想象，但在其成功的同时，其依然存在根本性的缺点。具体而言，对于传统神经网络来说，当图像中出现眼睛、鼻子、嘴巴等部件时，卷积神经网络会认为这是一张人脸，无论这些部件出现在哪个不合理的位置皆然。

然而，胶囊网络则不尽相同。低阶层的胶囊可保留完整的部件特性(五官的位置、大小...)，而高阶层的胶囊则可依据这些特性来检测是否为一个真实、完整的对象(人脸)。

胶囊网络在保留传统神经网络优点的同时，还解决传统神经网络根本性的缺点。借此，不仅可提升神经网络的性能，还能解决一些人为添加的虚假图像(例如五官位置错置的图像)。因此胶囊网络的应用范围非常的广，举凡目前的神经网络能完成的工作，胶囊网络皆能完成，甚至表现更佳。

虽然胶囊较佳地保留了对象细节的几何关系，但在网络架构设计上，并没有真正很有效地让神经网络理解对象的几何意义。因此，虽然相较CNN可以拥有更小的训练样本，但效果依然有限。

【发明内容】

有鉴于此，本发明提供一种图像识别方法及装置，其可用以解决上述技术问题。