[发明专利]用于神经网络的Winograd变换卷积操作的装置和方法

说明书

一些示例实施例可以涉及基于Winograd变换来执行神经网络的卷积操作的装置和方法。一些示例实施例可以涉及包括神经网络处理电路的装置，所述神经网络处理电路被配置为：通过对输入特征映射执行Winograd变换来由神经网络处理电路产生变换的输入特征映射，所述变换的输入特征映射具有矩阵形式并包括多个信道；由神经网络处理电路执行基于Winograd变换获得的变换的输入特征映射的特征矢量与变换的权重内核的权重矢量之间的逐元素乘法；并且由神经网络处理电路将逐元素乘法结果相加，其中关于所述特征矢量逐信道地执行所述逐元素乘法，所述特征矢量包括变换的输入特征映射的多个信道中的位置上的特征值。

相关申请的交叉引用

本申请要求于2019年1月23日在韩国知识产权局提交的韩国专利申请No.10-2019-0008603的权益，该申请的公开内容以引用方式全部并入本文中。

技术领域

一些发明构思的一些示例实施例可以包括用于执行神经网络卷积操作的方法、装置等。一些示例实施例可以涉及用于执行基于Winograd变换的神经网络的卷积操作的方法、装置等。

背景技术

神经网络是指作为生物脑的模型的计算架构。随着神经网络技术最近已经得到发展，已经存在在各种种类的电子系统中基于至少一个神经网络模型从输入数据获得有效信息的大量研究。在一些情况下，处理神经网络的卷积操作可能需要大量的操作。因此，被配置为以有效方式执行神经网络的卷积操作的神经网络处理电路可能是有利的。

发明内容

一些发明构思的一些示例实施例可以包括如在本文公开的基于Winograd变换执行神经网络的卷积操作的方法、装置等。相比于其他示例，涉及Winograd变换的一些这样的示例实施例可以呈现出提高的效率和/或减少的功耗。

一些发明构思的一些示例实施例可以包括用于执行神经网络的卷积操作的装置，其可以包括神经网络处理电路，该神经网络处理电路被配置为：通过对输入特征映射执行Winograd变换来产生变换的输入特征映射，变换的输入特征映射具有矩阵形式并包括多个信道；执行基于Winograd变换获得的变换的输入特征映射的特征矢量与变换的权重内核的权重矢量之间的逐元素乘法，并且将逐元素乘法结果相加，其中关于特征矢量逐信道地执行所述逐元素乘法，所述特征矢量包括变换的输入特征映射的多个信道的位置上的特征值。

一些发明构思的一些示例实施例可以包括对包括神经网络处理电路以执行神经网络的卷积操作的装置进行操作的方法，其中，所述方法包括步骤：由神经网络处理电路通过将至少一个Winograd变换的权重内核的多个信道中的对应的位置中的权重分组为多个权重波束中的每一个来将所述至少一个Winograd变换的权重内核重新格式化为所述多个权重波束；获得Winograd变换的输入特征映射；由神经网络处理电路对多个特征波束中的每一个和所述多个权重波束之中的对应的权重波束执行点积，所述多个特征波束中的每个包括Winograd变换的输入特征映射的所述多个信道中的相同位置上的特征值；由神经网络处理电路通过基于多个权重波束的各个位置将点积结果反向重新格式化来产生输出特征映射，所述点积结果分别关于所述多个权重波束来计算；以及由神经网络处理电路来对输出特征映射执行Winograd逆变换。

一些发明构思的一些示例实施例可以包括神经网络装置，所述神经网络装置包括被配置为执行神经网络操作的神经网络处理电路，所述神经网络处理电路被配置为：通过对分别经由Winograd变换获得的输入特征映射和权重内核执行逐元素点积来执行基于Winograd的卷积操作；以及关于每个特征波束执行逐元素点积，每个特征波束包括输入特征映射的多个信道中的相应的元素。

附图说明

通过结合附图的下面的详细描述，可以更加清楚地理解一些发明构思的一些示例实施例，在附图中：

图1示出了根据一些发明构思的一些示例实施例的数据处理系统；