[发明专利]用在处理设备中的装置及用于人工神经网络的装置和方法

说明书

公开了用在处理设备中的装置和用于人工神经网络的装置和方法。用在处理设备中的装置包括被配置成处理具有预定义数据结构的数据的处理器。存储器抽取装置耦接至处理器并且被配置成确定针对处理器的打包数据的地址。打包数据被存储在耦接至处理器的存储器装置上。存储器抽取装置还被配置成基于打包数据的地址向处理器提供输出数据，其中，输出数据是根据预定义数据结构来被配置的。

技术领域

本公开内容属于神经网络领域，并且更具体地，涉及增加基于处理器的神经网络计算。

背景技术

在机器学习中，卷积神经网络(CNN或ConvNet)是一种前馈人工神经网络(ANN)，在前馈人工神经网络(ANN)中，其神经元之间的连接模式受到动物视觉皮层组织的启发。单个皮层神经元对被称为感受野的受限空间区域中的刺激做出反应。不同神经元的感受野部分交叠使得它们平铺了视野。单个神经元对其感受野内的刺激的反应可以通过卷积运算在数学上进行近似。卷积网络受到生物过程的启发，并且是多层感知的变体，旨在使用最少量的预处理。它们在图像和视频识别、推荐系统和自然语言处理方面有着广泛的应用。卷积神经网络也可以称为移位不变或空间不变人工神经网络(SIANN)，这个命名基于其共享权重架构和平移不变特征。

感测和控制应用可以受益于采用ANN的算法的应用。然而，可用于大批量成本敏感性应用的紧凑型数字信号处理器(DSP)和微控制器(uC)设计在执行ANN计算时具有差的性能。这样的设备的有限存储器可以意味着ANN是使用打包/压缩的子字数据来实现的。不幸地是，解包这样的数据可以引起紧凑型uC和DSP系统的全字指令集/对齐字指令集和顺序流水线微体系结构不适于的流地址生成、聚集(gather)或(重新)格式化操作。因此，在执行ANN计算时，仅一小部分处理能力可以用于有用的有效载荷计算(例如乘法/累加、最小值/最大值等)。紧凑型uC和DSP系统的处理资源(和功率/能量)被低效地用于使用全字算术/逻辑运算解包窄子字数据。这种性能瓶颈限制了在采用这种紧凑型uC的感测/控制设备中应用其他极具吸引力的ANN算法的范围。

使用包括打包/解包和分散/聚集存储器抽取(fetch)操作的扩展的单指令、多数据(SIMD)指令集来实现在中央处理单元(CPU)上执行ANN算法。然而，这些方法并不总是不适用于紧凑型uC。例如，需要指令级并行性来掩盖聚集/分散存储器抽取操作的延迟。紧凑型uC设计的区域和功率限制排除了指令级并行性，从而大大降低了这样的指令集扩展的潜在价值。此外，紧凑型uC设计中通常采用的节约型载荷和存储微体系结构不能直接地支持分散/聚集解包和打包指令所需的多种源和目标指令格式。支持这样的操作的扩展(例如，额外的寄存器文件端口、复杂的流水线停顿/漏极逻辑等)直接影响关键路径逻辑元件，因此相关联的边缘区域和功率成本可能会不成比例地高。此外，可能不需要有效使用SIMD分散/聚集解包和打包指令所需的通用SIMD指令。因此，ANN加速的有效边缘区域和功率成本将与用于有效打包和解包过程的硬件更严格地相关联。

此外，使用流式直接存储器访问(DMA)的松散耦合加速器外围设备通常用于解决针对特定信号处理应用的性能问题。然而，对于紧凑型uC系统中的ANN加速，松散耦合加速器外围设备无法显著地减少聚集和解包数据的瓶颈，并且在紧凑型uC系统中进出协处理器的低延迟DMA通常不可用。这可以显著降低在紧凑型uC系统中加速ANN算法的能力，因为协处理器资源在完成ANN计算之前等待数据聚集和解包，从而显著增加执行ANN算法的时间。

发明内容

根据本发明的一个方面，提供了一种用在处理设备中的装置。所述装置包括：处理器，其被配置成处理具有预定义数据结构的数据；存储器抽取装置，其耦接至处理器，并且被配置成：确定针对处理器的打包数据的地址，其中，打包数据被存储在耦接至处理器的存储器装置上；以及基于打包数据的地址向处理器提供输出数据，其中，输出数据是根据预定义数据结构来被配置的。