[发明专利]神经网络加速装置及其操作方法

说明书

本发明涉及一种神经网络加速装置及其操作方法。根据本发明的实施例的神经网络加速装置包括：输入处理器，根据输入信号的精度确定运算模式，并且根据确定的所述运算模式转换或保持所述输入信号的精度并传送到运算器；以及运算器，基于所述输入信号，根据所述运算模式选择乘法、重新配置所述输入信号的多个分割组的边界迁移(Boundary Migration)和所述边界迁移的所述输入信号的加法中的至少一个规则并执行运算。

技术领域

本发明涉及一种神经网络加速装置及其操作方法。

背景技术

人工智能(Artificial Intelligence，AI)加速器可以是通过硬件来实现利用软件处理的诸如多层感知器(Multi-Layer Perceptron，MLP)、卷积神经网络(ConvolutionalNeural Network，CNN)的应用，从而能够减少主机的运算和资源负担的同时使相关运算的性能最大化的应用。

上述的AI加速器主要执行使用乘加运算(Multiplication and Accumulation，MAC)单元的卷积(convolution)运算，近来，随着MAC单元的混合精度(Mixed-precision)运算及相关运算的积极效果相关的内容出现，支持混合精度模式的应用正在增加。

例如，当利用支持相对高精度(high-precision)运算的乘法器(multiplier)(例如，INT16乘法器)来支持低精度(low-precision)运算(例如，INT8)时，只有部分位(bit)用于运算，因此可能产生资源(resource)浪费。相反，仅用INT8乘法器运算INT16时会产生额外的延迟(latency)，因此在同一时钟周期(clock cycle)支持INT16运算可能有些困难。另外，在实现支持INT8和INT16模式的运算器(Multiplier-Accumulator，MAC)时，还需要考虑累加乘法(multiplication)运算的结果值的累加器(accumulator)的大小(size)，当从INT8到INT16的被乘数(multiplicand)的字长(word length)增加时，由于乘法器(multiplier)和加法器(adder)的位宽(bit-width)增加值不同，因此不能有效使用相关逻辑。

发明内容

(一)要解决的技术问题

本发明的实施例提供一种运算能力提高的神经网络加速装置及其操作方法。

(二)技术方案

根据本发明的实施例的神经网络加速装置可以括：输入处理器，根据输入信号的精度确定运算模式，并且根据确定的所述运算模式转换或保持所述输入信号的精度并传送到运算器；以及运算器，基于所述输入信号，根据所述运算模式选择乘法、重新配置所述输入信号的多个分割组的边界迁移(Boundary Migration)和所述边界迁移的所述输入信号的加法中的至少一个规则并执行运算。

根据本发明的实施例的神经网络加速装置的操作方法可以包括以下步骤：

神经网络加速装置根据输入信号的精度确定运算模式；

神经网络加速装置根据确定的所述运算模式转换或保持所述输入信号的精度；以及

神经网络加速装置基于所述输入信号，根据所述运算模式选择乘法、重新配置所述输入信号的分割组的边界迁移和所述边界迁移的所述输入信号的加法中的至少一个规则并执行运算。

(三)有益效果

根据本发明的实施例，可以使用格子运算(Lattice operation)和资源共享(resource sharing)方式执行对各种精度(precision)的运算处理，因此能够更有效地执行运算，并由此能够提高运算处理率(throughput)。

附图说明