[发明专利]融合稀疏内核以近似卷积神经网络的完整内核

权利要求书

1.一种用于卷积神经网络的系统，所述系统包括：

存储器，其存储计算机可执行组件；

处理器，其执行存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括：

模式组件，其确定稀疏内核的第一模式和互补内核的第二模式，其中所述第一模式表示有效样本在所述稀疏内核的第一样本矩阵内的位置，并且其中所述第二模式表示有效样本在所述互补内核的第二样本矩阵内的位置，其与所述第一模式互补；

融合组件，其基于根据融合方法组合的所述稀疏内核的特征和所述互补内核的特征的组合，生成表示卷积神经网络的完整内核的近似的融合内核；以及

训练组件，训练所述融合内核。

2.根据权利要求1所述的系统，其中，所述融合方法利用空间连接操作将所述稀疏内核的所述特征和所述互补内核的所述特征组合，所述空间连接操作利用所述第二模式的有效样本替换所述第一模式的跳过样本。

3.根据权利要求1所述的系统，其中所述融合方法基于根据算子的所述稀疏内核和所述互补内核的成对级联来组合所述稀疏内核和所述互补内核。

4.根据权利要求3所述的系统，其中所述算子是加法算子。

5.根据权利要求3所述的系统，其中所述算子是逆算子。

6.根据前述权利要求中任一权利要求所述的系统，其中所述融合方法包括逐通道融合程序，所述逐通道融合程序包括基于通道维度中的1×1通道矩阵的应用而组合所述稀疏内核、所述互补内核及所述融合内核的特征。

7.如前述权利要求中任一项所述的系统，其中所述互补内核包括在所述第二样本矩阵内的位置处的至少一个有效样本，所述位置对应于至少一个跳过样本在所述第一样本矩阵内的位置。

8.如前述权利要求中的任一项所述的系统，其中，所述互补内核包括在所述第二样本矩阵内的所有位置处的有效样本，所述所有位置对应于所述第一样本矩阵内的具有跳过样本的位置。

9.根据前述权利要求中的任一项所述的系统，其中，所述模式组件基于对分配给先前训练的卷积神经网络的原始学习的完整内核的参数权重的检查来确定所述第一模式。

10.根据前述权利要求中的任一项所述的系统，其中所述稀疏内核的所述第一样本矩阵是3×3矩阵并且所述第一模式具有+形状，并且其中所述互补内核的所述第二样本矩阵是3×3矩阵并且所述第二模式具有X形状。

11.根据前述权利要求中任一项所述的系统，还包括接收组件，所述接收组件接收包括以下中的至少一个的配置数据：稀疏内核的多种类型；所述互补内核的多种类型；多个稀疏内核；多个互补内核；用于成对核融合的算子；或者指示是否使用逐通道融合的指示符。

12.一种用于卷积神经网络的计算机实现的方法，所述方法包括：

由操作地耦合到处理器的设备，确定稀疏内核的第一模式和互补内核的第二模式，其中所述第一模式表示有效样本在所述稀疏内核的第一样本矩阵内的位置，并且其中所述第二模式表示有效样本在所述互补内核的第二样本矩阵内的位置，其与所述第一模式互补；

响应于根据融合方法组合的所述稀疏内核的特征与所述互补内核的特征的组合，由所述装置，生成表示卷积神经网络的完整内核的近似的融合内核；以及

由所述设备，训练所述融合内核。

13.根据权利要求12所述的方法，其中所述融合方法利用空间连接操作将所述稀疏内核的所述特征和所述互补内核的所述特征组合，所述空间连接操作用所述第二模式的有效样本替换所述第一模式的跳过样本。