[发明专利]图形处理器

说明书

一种图形处理器，包括一稀疏矩阵检测单元、一寄存器文件(register file)、一断言寄存器，以及一矩阵运算单元。稀疏矩阵检测单元读取一存储器中的多个矩阵，判断该等矩阵的每一个是否为一零矩阵或一非零矩阵，并输出一判断结果。寄存器文件存储来自稀疏矩阵检测单元的该等矩阵。断言寄存器依据判断结果，对该等矩阵进行标记，并输出一标记结果。矩阵运算单元接收一矩阵运算指令，以及依据标记结果，从寄存器文件中读取该等矩阵中的该等非零矩阵，并且对该等非零矩阵执行矩阵运算。

技术领域

本发明涉及图形处理器，特别涉及具有更佳矩阵运算能力的图形处理器。

背景技术

随着卷积神经网络(CNN)的应用和流行，各种加速算法以及对应的硬件加速器的设计层出不穷。目前流行的硬件加速器设计方案包括：图形处理器(GPU)、特殊应用集成电路(ASIC)，及现场可编程逻辑门阵列(FPGA)。而GPU以其自身已经成熟的并行计算硬件架构和软件应用取得了执行卷积神经网络运算的先发优势。

对于传统的GPU来说，可直接使用其内的浮点运算单元或设计新的矩阵运算单元来进行加速。但由于传统GPU的矩阵运算单元直接对寄存器文件(register file)读取数据，因此对寄存器文件的读写要求很高，因而有可能产生更多的读写冲突(conflict)，使得其运算效能降低。再者，传统GPU的矩阵运算单元并未利用矩阵运算过程中存在许多稀疏矩阵的特性进行进一步的加速，因而增加了功耗，增加了矩阵运算时间。

发明内容

依据本发明实施例的图形处理器，包括一稀疏矩阵检测单元、一寄存器文件(register file)、一断言寄存器，以及一矩阵运算单元。稀疏矩阵检测单元读取一存储器中的多个矩阵，判断该等矩阵的每一个是否为一零矩阵或一非零矩阵，并输出一判断结果。寄存器文件存储来自稀疏矩阵检测单元的该等矩阵。断言寄存器依据判断结果，对该等矩阵进行标记，并输出一标记结果。矩阵运算单元接收一矩阵运算指令，以及依据标记结果，从寄存器文件中读取该等矩阵中的该等非零矩阵，并且对该等非零矩阵执行矩阵运算。

如上所述的图形处理器，还包括一线程调度及指令分发单元及一整数运算单元。线程调度及指令分发单元发送一整数运算指令及该矩阵运算指令。整数运算单元接收整数运算指令及矩阵运算指令。整数运算单元依据该整数运算指令执行一整数运算，并且将矩阵运算指令转传送给矩阵运算单元。

如上所述的图形处理器，其中，矩阵运算单元包括一控制单元、多个运算子单元，及一累加单元。控制单元从断言寄存器读取该等矩阵的标记结果，并且依据标记结果，从寄存器文件中读取该等矩阵中的该等非零矩阵。该等运算子单元对该等非零矩阵执行矩阵运算。累加单元存储该等运算子单元在执行矩阵运算中的矩阵乘积值及一矩阵运算结果。矩阵乘积值供该等运算子单元执行矩阵运算时使用。

如上所述的图形处理器，其中，矩阵运算单元依据标记结果，从寄存器文件中忽略该等矩阵中的该等零矩阵。

如上所述的图形处理器，其中，当完成矩阵运算时，控制单元从累加单元中读取矩阵运算结果，并且将矩阵运算结果写入该寄存器文件中。

如上所述的图形处理器，其中，断言寄存器以一位来标记该等矩阵中的该等零矩阵及该等非零矩阵。断言寄存器将该等矩阵中的该等零矩阵标记为“0”，并且将该等矩阵中的该等非零矩阵标记为“1”。

依据本发明实施例的矩阵运算的加速方法，适用于一图形处理器，包括：接收一矩阵运算指令；从一存储器中读取多个矩阵，并且判断该等矩阵的每一个是否为一零矩阵或一非零矩阵，并输出一判断结果；依据判断结果，对该等矩阵进行标记，并输出一标记结果；依据标记结果，读取该等矩阵中的该等非零矩阵，并且对该等非零矩阵执行矩阵运算。

如上所述的加速方法，还包括：依据该标记结果，忽略该等矩阵中的该等零矩阵。