[发明专利]使用脉动阵列和融合操作的深度学习实现方式

说明书

公开的实施例涉及使用脉动阵列和融合操作的深度学习实现方式。在一个示例中，处理器包括取得和解码电路来取得和解码指令，该指令具有字段来指定操作码以及目的地和N个源矩阵的位置，操作码指示出处理器将从存储器加载N个源矩阵，对N个源矩阵执行N个卷积以生成N个特征图，并且将N个卷积的结果存储在寄存器中以被传递到激活层，其中处理器将利用N个源矩阵的每一者的至多一个存储器加载执行N个卷积和激活层。处理器还包括调度电路来调度指令的执行以及执行电路来按照操作码执行指令。

技术领域

本发明的领域概括而言涉及计算机处理器体系结构，并且更具体而言涉及使用脉动阵列(systolic array)和融合操作(fused operation)的深度学习(deep learning)实现方式。

背景技术

矩阵在诸如机器学习和其他海量数据处理之类的许多计算任务中越来越重要。深度学习体系结构，例如深度神经网络，已被应用到包括计算机视觉、话音识别、自然语言处理、音频识别、社交网络过滤、机器翻译、生物信息学和药物设计在内的领域。

不幸的是，基于深度学习的机器学习系统的广泛采用和应用面临着与计算要求、功率消耗和存储器带宽利用有关的挑战。例如，深度学习神经网络模型的大小可以是许多兆字节并且要求每秒数百万的算术操作来高效地处理。

发明内容

根据本公开的一方面，提供了一种处理器，包括：取得电路，用于取得指令；解码电路，用于对所述指令解码，所述指令具有字段来指定操作码以及目的地和N个源矩阵的位置，所述操作码指示出所述处理器将从存储器加载所述N个源矩阵，对所述N个源矩阵执行N个卷积以生成N个特征图，并且将所述N个卷积的结果存储在寄存器中以被传递到激活层，其中所述处理器将利用所述N个源矩阵的每一者的至多一个存储器加载执行所述N个卷积和所述激活层；调度电路，用于调度所述指令的执行；以及执行电路，用于按照所述操作码执行所述指令。

根据本公开的一方面，提供了一种由处理器实现的方法，包括：利用取得电路取得指令；利用解码电路对所述指令解码，所述指令具有字段来指定操作码以及目的地和N个源矩阵的位置，所述操作码指示出所述处理器将从存储器加载所述N个源矩阵，对所述N个源矩阵执行N个卷积以生成N个特征图，并且将所述N个卷积的结果存储在寄存器中以被传递到激活层，其中所述处理器将利用所述N个源矩阵的每一者的至多一个存储器加载执行所述N个卷积和所述激活层；利用调度电路调度所述指令的执行；并且利用执行电路按照所述操作码执行所述指令。

根据本公开的一方面，提供了一种包含指令的非暂态机器可读介质，处理器通过以下步骤来响应所述指令：利用取得电路取得指令；利用解码电路对所述指令解码，所述指令具有字段来指定操作码以及目的地和N个源矩阵的位置，所述操作码指示出所述处理器将从存储器加载所述N个源矩阵，对所述N个源矩阵执行N个卷积以生成N个特征图，并且将所述N个卷积的结果存储在寄存器中以被传递到激活层，其中所述处理器将利用所述N个源矩阵的每一者的至多一个存储器加载执行所述N个卷积和所述激活层；利用调度电路调度所述指令的执行；并且利用执行电路按照所述操作码执行所述指令。

根据本公开的一方面，提供了一种装置，包括：用于取得指令的装置；用于对所述指令解码的装置，所述指令具有字段来指定操作码以及目的地和N个源矩阵的位置，所述操作码指示出处理器将从存储器加载所述N个源矩阵，对所述N个源矩阵执行N个卷积以生成N个特征图，并且将所述N个卷积的结果存储在寄存器中以被传递到激活层，其中所述处理器将利用所述N个源矩阵的每一者的至多一个存储器加载执行所述N个卷积和所述激活层；用于调度所述指令的执行的装置；以及用于按照所述操作码执行所述指令的装置。

附图说明

在附图中以示例而非限制方式图示了本发明，附图中相似的标记指示类似的要素并且其中：

图1A图示了配置的分片的实施例；

图1B图示了配置的分片的实施例；

图2图示了矩阵存储的若干个示例；