[发明专利]一种深度卷积神经网络及其执行该网络的系统

权利要求书

1.一种深度卷积神经网络，其特征在于：

顺序串联的多个池卷积层，每个池卷积层接收第一输入并生成一个池输出，每个所述池卷积层包括：

一个隐藏块，其包括至少一个卷积层，所述卷积层被配置为使用激活函数将至少一个卷积操作应用于所述第一输入；及

一个池化层，其被配置为对所述隐藏块的输出进一步的应用池操作生成所述池输出；

终端隐藏块，其被配置为接收最后顺序串联的池卷积层的汇集输出作为第二输入，所述最终隐藏块包括至少一个卷积层，其被配置为使用所述激活函数将至少一个卷积操作应用于所述第二输入；

多个全局平均池层，每个全局平均池层对隐藏块的输出或终端隐藏块的输出进行全局平均池操作；

终端隐藏层，接收组合全局平均池层的输出；和

softmax层，配置为对终端隐藏层的输出进行softmax操作处理。

2.如权利要求1所述的一种深度卷积神经网络，其特征在于：所述激活函数是多分段线性函数，其表达式为：

3.如权利要求1所述的一种深度卷积神经网络，其特征在于：所述激活函数的每一部分基于输入属于多个端点范围中的哪一个，端点是可学习的参数。

4.如权利要求3所述的一种深度卷积神经网络，其特征在于：如果输入落入端点的中心范围，则激活函数为恒等映射，否则，激活函数为基于端点范围和相应斜率的线性函数，相应斜率为可学习参数。

5.如权利要求1所述的一种深度卷积神经网络，其特征在于：使用多分段线性函数将具有梯度下降的反向传播应用于人工卷积神经网络的层。

6.如权利要求5所述的一种深度卷积神经网络，其特征在于：如果反向传播的输出落入端点的中心范围，则反向传播函数为1，否则，反向传播函数基于各自的斜率，各自的斜率为可学习参数。

7.如权利要求6所述的一种深度卷积神经网络，其特征在于：用于反向传播的多分段线性函数的表达式为：

8.如权利要求7所述的一种深度卷积神经网络，其特征在于：全局平均池包括通过级联将输出平坦化为一维向量。

9.如权利要求8所述的一种深度卷积神经网络，其特征在于：将输入组合到端子块包括生成输入到端子块的每个一维向量的最终权重矩阵。

10.一种用于执行深度卷积神经网络的系统，其特征在于：所述系统包括一个或多个处理器和一个或多个非暂时性计算机存储介质，所述一个或多个非暂时性计算机存储介质导致所述一个或多个处理器执行：

输入模块，用于接收训练数据；

卷积神经网络模块，用于：

将训练数据的至少一部分传递给顺序连接的多个池卷积层，每个池卷积层获取输入并生成池输出，每个池卷积层包括：

卷积块，其包括至少一个卷积层，所述卷积层被配置为使用激活函数将至少一个卷积操作应用于所述输入；及

池层，其被配置为对卷积块应用池操作以生成池输出；

将最后顺序连接的池卷积层的输出传递给最终卷积块，最终卷积块包括至少一个卷积层，该卷积层被配置为使用激活函数将至少一个卷积操作应用于输入；

将多个卷积块中的每一个的输出和最终卷积块的输出传递到多个全局平均池层中的相应一个，每个全局平均池层被配置为将全局平均池操作应用到相应卷积块的输出；

将全局平均池层的输出传递给终端隐藏层，终端隐藏层配置为组合全局平均池层的输出；和

将终端隐藏层的输出传递到softmax层，softmax层被配置为对终端隐藏层的输出应用softmax操作；和

输出模块，用于输出softmax操作的输出。