[发明专利]基于忆阻器的神经网络的并行加速方法及处理器、装置

说明书

一种基于忆阻器的神经网络的并行加速方法及处理器、装置。该神经网络包括：多个依次设置的功能层，其中，该多个功能层包括第一功能层和位于第一功能层之后的第二功能层，该第一功能层包括并行的多个第一忆阻器阵列，该多个第一忆阻器阵列用于执行所述第一功能层的操作并将操作结果输出至第二功能层。该并行加速方法包括：使用多个第一忆阻器阵列并行地执行第一功能层的操作，并将操作结果输出至第二功能层。同时，针对具体的并行加速处理器，设计了合适的硬件架构，该并行加速处理器及装置可以执行上述并行加速方法。

技术领域

本公开的实施例涉及一种基于忆阻器的神经网络的并行加速方法及处 理器、装置。

背景技术

深度神经网络算法的兴起，带来了智能化的信息技术革命。基于各种深 度神经网络算法，可以实现图像识别与分割、物体探测以及完成对语音和文 本的翻译、生成等处理。使用深度神经网络算法处理不同工作负载是一类以 数据为中心的计算，实现该算法的硬件平台需要具有高性能、低功耗的处理 能力。然而，传统的实现该算法的硬件平台是基于存储和计算分离的冯诺依 曼架构，这种架构在计算时需要数据在存储器件和计算器件之间来回搬移， 因此在包含大量参数的深度神经网络的计算过程中，该架构的能效较低。为此，开发一种新型计算硬件来运行深度神经网络算法成为当前亟需解决的问 题。

发明内容

本公开至少一实施例提供一种基于忆阻器的神经网络的并行加速方法， 其中，所述神经网络包括：多个依次设置的功能层，所述多个功能层包括第 一功能层和位于所述第一功能层之后的第二功能层，所述第一功能层包括并 行的多个第一忆阻器阵列，所述多个第一忆阻器阵列用于并行地执行所述第 一功能层的操作并将操作结果输出至所述第二功能层；所述并行加速方法包 括：使用所述多个第一忆阻器阵列并行地执行所述第一功能层的操作并将所 述操作结果输出至所述第二功能层。

例如，在本公开一些实施例提供的并行加速方法中，使用所述多个第一 忆阻器阵列并行地执行所述第一功能层的操作并将所述操作结果输出至所 述第二功能层，包括：将所述第一功能层接收的输入数据拆分为与所述多个 第一忆阻器阵列一一对应的多个子输入数据；以及使用所述多个第一忆阻器 阵列并行地对所述多个子输入数据执行所述第一功能层的操作，以对应产生 多个子操作结果。

例如，本公开一些实施例提供的并行加速方法，还包括：将所述多个子 操作结果进行拼合并使用所述第二功能层对拼合结果执行所述第二功能层 的操作。

例如，在本公开一些实施例提供的并行加速方法中，所述多个子输入数 据的尺寸大小基本相同。

例如，在本公开一些实施例提供的并行加速方法中，使用所述多个第一 忆阻器阵列并行地执行所述第一功能层的操作并将所述操作结果输出至所 述第二功能层，包括：将所述第一功能层接收的多个输入数据分别提供给所 述多个第一忆阻器阵列；以及使用所述多个第一忆阻器阵列至少部分并行地 对接收的所述多个输入数据执行所述第一功能层的操作，以对应产生多个子 操作结果。

例如，本公开一些实施例提供的并行加速方法，还包括：使用所述第二 功能层分别对所述多个子操作结果执行所述第二功能层的操作。

例如，在本公开一些实施例提供的并行加速方法中，所述多个输入数据 互不相同。

例如，在本公开一些实施例提供的并行加速方法中，所述神经网络为卷 积神经网络。

例如，在本公开一些实施例提供的并行加速方法中，所述第一功能层为 所述神经网络的初始卷积层。

例如，在本公开一些实施例提供的并行加速方法中，所述多个功能层还 包括第三功能层，所述第三功能层的输出被提供至所述第一功能层。

例如，在本公开一些实施例提供的并行加速方法中，所述神经网络的权 重参数通过片外训练得到，所述神经网络的权重参数包括所述第一功能层的 权重参数，所述第一功能层的权重参数被写入所述多个第一忆阻器阵列，以 确定所述多个第一忆阻器阵列的电导。