[发明专利]数据处理装置、计算机系统及其操作方法

说明书

公开了一种数据处理装置、计算机系统及其操作方法。该数据处理装置包括多个主干网络基础模块、时分复用仲裁模块、数据处理与存储模块、装置内总线，其中，多个主干网络基础模块、时分复用仲裁模块、数据处理与存储模块通过装置内总线通信连接。每个主干网络基础模块基于存算一体架构且配置为实现可复用的单个神经网络层或包括多个神经网络层的组合的操作，时分复用仲裁模块配置为对装置内总线的使用进行调度，数据处理与存储模块配置为对于来自多个主干网络基础模块中任一的输出数据进行处理和存储。数据处理装置具有改善的数据处理性能。

技术领域

本公开的实施例涉及一种数据处理装置、计算机系统及其操作方法。

背景技术

近年来，卷积神经网络(CNN)已经成为图像处理任务中的主要机器学习方法。相较传统的多层感知机(MLP)，CNN更具有空间意义的卷积模式，即通过卷积核在特征图上的滑动提取特征，因此更适合图像处理任务。在基于神经网络的计算机视觉领域，通常都会先利用CNN对图像进行特征提取，这部分特征提取的网络即为网络的主干部分(Backbone)。主干网络在整体网络任务中占主要部分，而后续神经网络会在主干提取的信息的基础上，进一步执行分类、检测等目标任务。目前，使用以例如ResNet、EfficientNet等为代表的主干神经网络提取多维度信息后，附加多种目标识别、检测、分类等功能网络，在面向图像处理的深度神经网络中发挥出重大的作用。随着算法研究中对于主干网络的分析也在不断深入。最新的研究表明，在网络规模较大且主干网络外的功能网络足够强大的情况下，图像处理任务网络中通过“冻结”预训练的主干网络，可以在提升算法表现的同时极大的节约运算资源。这为迁移学习的研究提供了新的思路，也为设计面向神经网络的硬件系统提供了新的启发。

深层的主干神经网络需要大量的计算和存储资源，负责计算的硬件系统需要提供更高的算力和性能支持。在硬件架构层面，目前为了给深度神经网络(DNN)(尤其是CNN)提供支持，传统的基于冯诺依曼架构计算芯片，在存储上，因为存算分离的特性，面临了严重的“存储墙”问题；在性能上，在硬件资源、通用性等约束下，并行度不足，计算速度也受到了制约；在功耗上，大量的访存操作与计算也带来了巨大功耗开销。存算一体芯片设计通过直接利用欧姆定律和串联的基尔霍夫定律，可以在存储单元内部在模拟域直接进行矩阵向量乘等操作，整个过程不需要数据的搬运；再结合忆阻器阵列对于高并行度数据处理的支持，已经实现算力、能效的爆炸式突破，在器件、原理和范式上彻底颠覆传统计算芯片。

发明内容

本公开的至少一个实施例提供了一种数据处理装置，所述数据处理装置包括多个主干网络基础模块、时分复用仲裁模块、数据处理与存储模块、装置内总线，其中，所述多个主干网络基础模块、所述时分复用仲裁模块、所述数据处理与存储模块通过所述装置内总线通信连接。每个所述主干网络基础模块基于存算一体架构且配置为实现可复用的单个神经网络层或包括多个神经网络层的组合的操作，所述时分复用仲裁模块配置为对所述装置内总线的使用进行调度，所述数据处理与存储模块配置为对于来自所述多个主干网络基础模块中任一的输出数据进行处理和存储。

例如，在至少一个示例中，所述多个主干网络基础模块包括第一主干网络基础模块和第二主干网络基础模块，所述第一主干网络基础模块输出的输出数据将通过所述装置内总线被提供至所述第二主干网络基础模块，作为所述第二主干网络基础模块的输入数据。

例如，在至少一个示例中，所述第一主干网络基础模块输出的输出数据在被提供至所述第二主干网络基础模块之前，将被发送至所述数据处理与存储模块暂存，所述时分复用仲裁模块还配置为判断所述输出数据是否需要被进行中间处理并进行调度。