[发明专利]深度神经网络结构、使用深度神经网络的方法及可读媒体

说明书

本发明提供一种深度神经网络结构及方法，用于以提高识别与分类的准确度，并且有效率地将多媒体数据识别及分类为多个预定数据类别中的一者。在深度神经网络中，使用从主枝(或侧枝、子侧枝等)延伸出的侧枝(或子侧枝、子子侧枝等)、顺序决策作出机制、及协作(融合)决策作出机制将使得深度神经网络具有快速的正向推理能力，藉此提高深度神经网络的识别与分类准确度及效率。

相关申请的交叉参考

本非临时专利申请依据35U.S.C.§119(e)主张在2017年7月31日提出申请的美国临时专利申请第62/538,811号的优先权，所述美国临时专利申请的全文并入本文中供参考。

技术领域

本申请涉及一种深度神经网络(deep neural network，DNN)。

背景技术

神经网络被使用于多种应用。举例来说，神经网络已被设计来从例如图像、声音、视频、文本、或时间序列等数据提取特征，以识别所述数据的模式。神经网络以连接成非环图的神经元集合的模式建立。换句话说，某些神经元的输出可变为其他神经元的输入。神经网络模型常常被组织成由神经元形成的相异的层。不同的层可对其输入执行不同种类的转换。信号从第一(输入)层开始，可能在穿越位于第一(输入)层与最后一个(输出)层之间的数个隐藏层之后传播到最后一个(输出)层。

在深度神经网络(即，具有多个隐藏层的神经网络)中，由神经元形成的每一层，基于前一层的输出在相异的特征集上进行训练。神经元将来自数据的输入(例如，向量)与一权重集(例如，矩阵)作组合，可放大或减弱输入，输入的任务经由算法的学习而被指派重要性(significance)。将这些输入-权重积求和，并使所求出的和穿过激活函数(例如，S函数(Sigmoid)、双曲正切函数(Tanh)、修正线性函数(ReLU)、渗漏型线性函数(Leaky ReLU)、最大值输出(Maxout)等)，以判断信号经由网络是否会进一步影响最终结果(例如，动作分类)以及影响程度如何。将可调整权重与输入特征做配对是为这些特征指派重要性的方式，即关于网络如何对输入进行分类及群集。此种特征层次(feature hierarchy)所提高的复杂性及抽象性使得深度神经网络能够透过非线性函数处理具有数十亿个参数的巨量又高维度的数据集，以在无人工干预的情况下执行自动特征提取。深度神经网络可以例如在逻辑(logistic)分类器或归一化指数(softmax) 分类器等的输出层结束，所述输出层为特定结果或标签指派似然度 (likelihood)。假设给定以图像形式的原始数据，深度神经网络可例如预测/ 判定出输入数据可能以某一百分比表示人、猫、马等。

举例来说，卷积神经网络(Convolutional Neutral Network，CNN)是一种类型的深度神经网络，其已在许多图像识别任务中展示出了其能力。虽然人们可增加网络大小(包括深度及宽度)来实现更高的图像识别准确度，但这样做的代价是正向推理的等待时间会变多。举例来说，以流行的卷积神经网络模型对图像网(ImageNet)数据集作标竿分析(benchmark)，其显示出为了将最高类别(top-1)错误从42.90％降低至22.16％，在测试时的等待时间(latency)会从7.0毫秒(millisecond，ms)(亚历克斯网(AlexNet)) 增加至109.32ms(残差网(ResNet))。因此，如何在不牺牲深度神经网络效率的条件下实现更高的识别与分类准确度变为一项重要的待解决问题。

发明内容

因此，本申请提供一种深度神经网络 以及用以将媒体数据识别及分类为多个预定数据类别的其中之一的方法，其具有已提高的识别、分类准确度及效率。