[发明专利]一种用于执行RMSprop梯度下降算法的装置及方法

说明书

本公开提供了一种用于执行RMSprop梯度下降算法的装置及方法，该装置包括直接内存访问单元、指令缓存单元、控制器单元、数据缓存单元、数据处理模块。该方法包括：首先读取梯度向量以及待更新值向量，同时初始化一个均方向量；每次迭代时，首先利用梯度向量更新均方向量，然后，利用均方向量计算出更新时对应的梯度下降量，更新待更新参数向量，重复此过程，直至待更新向量收敛。在整个过程中，均方向量一直存储在数据缓存单元中。利用本公开，可以实现RMSprop梯度下降算法的应用，并大幅度提高数据处理的效率。

技术领域

本公开涉及RMSprop算法应用技术领域，具体地涉及一种用于执行RMSprop梯度下降算法的装置及方法，是有关于RMSprop梯度下降优化算法的硬件实现的相关应用。

背景技术

梯度下降优化算法在函数逼近、优化计算、模式识别和图像处理等领域被广泛应用，RMSprop算法作为梯度下降优化算法中的一种，由于其易于实现，计算量小，所需存储空间小以及对mini-batch数据集进行处理时效果好等特征被广泛的使用，并且使用专用装置实现RMSprop算法可以显著提高其执行的速度。

目前，一种执行RMSprop梯度下降算法的已知方法是使用通用处理器。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把RMSprop算法对应的相关运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。

另一种执行RMSprop梯度下降算法的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用单指令多数据流(SIMD)指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对RMSprop梯度下降算法相关运算的专门支持，仍然需要大量的前端译码工作才能执行RMSprop梯度下降算法中相关的运算，带来了大量的额外开销。另外，GPU只有较小的片上缓存，RMSprop梯度下降算法运行中所需的中间变量数据如均方向量等需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

(一)要解决的技术问题

有鉴于此，本公开的主要目的在于提供一种用于执行RMSprop梯度下降算法的装置及方法，以解决数据的通用处理器运算性能不足，前段译码开销大的问题，并避免反复向内存读取数据，降低内存访问的带宽。

(二)技术方案

为达到上述目的，本公开提供了一种用于执行RMSprop梯度下降算法的装置，该装置包括直接内存访问单元1、指令缓存单元2、控制器单元3、数据缓存单元4、数据处理模块5，其中：

直接内存访问单元1，用于访问外部指定空间，向指令缓存单元2和数据处理模块5读写数据，完成数据的加载和存储；

指令缓存单元2，用于通过直接内存访问单元1读取指令，并缓存读取的指令；

控制器单元3，用于从指令缓存单元2中读取指令，将读取的指令译码为控制直接内存访问单元1、数据缓存单元4或数据处理模块5行为的微指令；

数据缓存单元4，用于在初始化及数据更新过程中缓存均方矩阵；

数据处理模块5，用于更新均方向量和待更新参数，并将更新后的均方向量写入到数据缓存单元4中，将更新后的待更新参数通过直接内存访问单元1写入到外部指定空间中。

上述方案中，所述直接内存访问单元1是从外部指定空间向指令缓存单元2写入指令，从外部指定空间读取待更新参数和对应的梯度值到数据处理模块5，并将更新后的参数向量从数据处理模块5直接写入外部指定空间。