[发明专利]优化的神经网络输入步长方法及设备

说明书

公开一种优化的神经网络输入步长的方法及设备。在形成卷积层的硬件使用1的输入步长进行操作时，卷积神经网络中的卷积层使用大于1的预定水平输入步长和预定垂直输入步长。基于预定水平输入步长和预定垂直输入步长来对多组原始权重内核中的每个原始权重内核进行细分，以针对每组原始权重内核形成一组多个子内核。基于预定水平输入步长和预定垂直输入步长来对多个IFM中的每个IFM进行细分以形成多个子图。使用1的水平输入步长通过针对一组原始权重内核的对应的子内核来对每个子图进行卷积。对每个子图和对应的子内核的卷积结果进行求和以形成输出特征图。

本申请要求于2017年5月16日提交的第62/507,209号美国临时专利申请的优先权，所述美国专利申请的公开通过引用整体包含于此。

技术领域

在此公开的主题总体涉及卷积神经网络(CNN)，更具体地讲，涉及一种在执行卷积层的硬件使用1的输入步长进行操作时提供使用大于1的输入步长的卷积层的设备和方法。

背景技术

CNN中的卷积层可用于通过在输入特征图(IFM)上滑动(slide)卷积内核来从输入图像或IFM提取特征。也就是说，一个或多个IFM可被输入到卷积层，并且可使用一个或多个组不同滤波器(权重)内核进行卷积。对卷积的结果进行求和以产生输出特征图(OFM)。然后，OFM可用作用于下一卷积层的IFM，并且特征可通过在IFM上滑动不同集合的卷积内核被进一步提取。

发明内容

示例实施例提供一种用于在神经网络中的卷积层从至少一个IFM形成至少一个OFM的系统，所述系统可包括权重-内核细分器、IFM细分器和卷积器。权重-内核细分器可基于预定水平输入步长和预定垂直输入步长来对多组原始权重内核中的每个原始权重内核进行细分，以针对每组原始权重内核形成一组多个子内核，其中，所述多组原始权重内核可对应于神经网络的当前卷积层，所述预定水平输入步长可大于1，所述预定垂直输入步长可大于1。IFM细分器可基于所述预定水平输入步长和所述预定垂直输入步长来对多个IFM中的每个IFM进行细分，以针对所述多个IFM中的每个IFM形成多个子图，其中，所述多个IFM可对应于当前卷积层，每个子图可对应于每组多个子内核中的一个子内核。卷积器可连接到权重-内核细分器和IFM细分器，并且可针对每组原始权重内核使用1的输入步长来通过针对一组原始权重内核的对应的子内核对每个子图进行卷积，其中，卷积器还可针对每组原始权重内核将每个子图和对应的子内核的卷积结果进行求和，以形成与所述组原始权重内核对应的OFM。在一个实施例中，子内核中的权重可包括原始权重内核中的权重，其中，基于原始权重内核中的权重的位置对所述预定水平输入步长的模和基于对所述预定垂直输入步长的模从原始权重内核细分子内核。在一个实施例中，所述预定水平输入步长和所述预定垂直输入步长可等于预定第二值，权重-内核细分器还可将多组原始权重内核中的每个原始权重内核细分为所述预定第二值的平方个，以针对每组原始权重内核形成所述组多个子内核，IFM细分器还可基于所述预定第二值的平方对所述多个IFM中的每个IFM进行细分，以针对所述多个IFM中的每个IFM形成所述多个子图。