[发明专利]融合稀疏内核以近似卷积神经网络的完整内核

说明书

提供了促进生成融合内核的技术，所述融合内核能够近似卷积神经网络的完整内核。在一个示例中，一种计算机实现的方法包括确定第一样本矩阵的样本的第一模式和第二样本矩阵的样本的第二模式。第一样本矩阵可以代表稀疏内核，并且第二样本矩阵可以代表互补内核。第一模式和第二模式可以彼此互补。该计算机实现的方法还包括基于根据融合方法组合的稀疏内核的特征和互补内核的特征的组合来生成融合内核，并且训练融合内核。

技术领域

本公开涉及融合稀疏内核和卷积神经网络(CNN)。

背景技术

CNN可以表示可以利用深度前馈人工神经网络的一种机器学习的类型。CNN在图像和视频识别、推荐系统、自然语言处理和其他领域中已经显示出显著的成功。通常，CNN体系结构由不同层的堆栈形成，这些层通过可微分函数将输入卷变换成输出卷，同时保持类得分。CNN一般包括通常使用的若干不同类型的层。例如，卷积层可以是CNN的内核心构建块。卷积层的参数通常包括一组可学习滤波器，其在本文中被称为内核。例如，内核可以由矩阵表示。为了简单起见，在本文件中采用3×3矩阵来说明某些方面或技术，但应理解，所揭示的标的物可与实质上任何矩阵大小一起使用，例如，5×5矩阵、7×7矩阵等。

给定的内核通常具有小的感受野(receptive field)，但是可以延伸通过输入卷的整个深度。在CNN的正向传递期间，每个内核可以跨越输入卷的宽度和高度进行卷积，计算内核的条目与输入之间的点积，产生该内核的2维激活映射。作为一个结果，CNN可以学习过滤器，其当检测到输入中的某个空间位置处的某个特定类型的特征时激活。沿着深度维度堆叠所有滤波器的激活图可以形成卷积层的全部输出卷。因此，输出卷中的每个条目也可被解释为查看输入的小区域并与相同激活映射中的神经元共享参数的神经元的输出。卷积神经网络通常具有非常重的计算负荷和大的模型大小。为了提高精度，深CNN通常基本上被过度参数化，例如，利用许多不必要的参数来实现。由于与完整内核上的计算相关联的繁重的计算负荷和大的模型大小，已经观察到，当使用近似而不是完整内核时，完整内核的近似可以提供优势。近似完整内核的一种方式被称为低排序近似(low-rankapproximation)，其中低秩矩阵(例如，3X1X a1X3)被组合以表示完整(例如，3X3)内核的近似。这样的技术可以减少计算负荷和模型大小，但是也倾向于减少感受野以及模型的潜在准确性。近似完整内核的另一种方法是使用稀疏内核。稀疏内核基于某种策略省略或跳过在一个或多个空间位置处的参数，通常省略具有低参数权重的那些样本位置。这也倾向于提供例如由于减小的感受野而在减小的负载和模型尺寸相对于模型精度之间的折衷。

因此，在本领域中需要解决上述问题。

发明内容

从第一方面来看，本发明提供了一种用于卷积神经网络的系统，包括：存储器，其存储计算机可执行组件；处理器，其执行存储在所述存储器中的计算机可执行组件，其中所述计算机可执行组件包括；模式组件，其确定稀疏内核的第一模式和互补内核的第二模式，其中所述第一模式表示有效样本在所述稀疏内核的第一样本矩阵内的位置，并且其中所述第二模式表示有效样本在所述互补内核的第二样本矩阵内的位置，其与所述第一模式互补；融合组件，其基于根据融合方法组合的所述稀疏内核的特征和所述互补内核的特征的组合，生成表示卷积神经网络的完整内核的近似的融合内核；以及训练该融合内核的训练组件。

从另一方面来看，本发明提供了一种用于卷积神经网络的计算机实现的方法，该方法包括：由操作地耦合到处理器的设备，确定稀疏内核的第一模式和互补内核的第二模式，其中所述第一模式表示有效样本在所述稀疏内核的第一样本矩阵内的位置，并且其中所述第二模式表示有效样本在所述互补内核的第二样本矩阵内的位置，其与所述第一模式互补；响应于根据融合方法组合的所述稀疏内核的特征与所述互补内核的特征的组合，由所述装置，生成表示卷积神经网络的完整内核的近似的融合内核；以及由所述设备，训练所述融合内核。