[发明专利]优化深度神经网络的参数的处理系统、集成电路及板卡

权利要求书

1. 一种优化深度神经网络的参数的处理系统，包括：

近数据处理装置，用以存储并量化运行于所述深度神经网络的原始数据，以产生量化数据；以及

加速装置，用以基于所述量化数据训练所述深度神经网络，以产生并量化训练结果；

其中，所述近数据处理装置基于量化后的训练结果更新所述参数，图像数据基于更新后参数推理所述深度神经网络，所述近数据处理装置及所述加速装置分别包括统计量化器；所述统计量化器包括：缓冲元件，用以暂存多个输入数据，其中所述多个输入数据为所述原始数据或所述训练结果；统计元件，用以根据所述多个输入数据生成统计参数；以及筛选元件，用以根据所述统计参数，自所述缓冲元件逐一读取所述多个输入数据，以生成输出数据，其中所述输出数据为所述量化数据或量化后的训练结果；其中所述筛选元件还生成标签，用以记录所述输出数据的量化格式，所述标签包括行标签，所述行标签用以记录缓存阵列的一行的量化格式；

其中，所述加速装置包括：缓存阵列，所述缓存阵列的一行存储相同量化格式的数据；直接存储器访问，用以控制所述输出数据及所述标签存储至所述缓存阵列；缓存控制器，包括量化数据缓存元件，用以暂存所述直接存储器访问发送的所述输出数据及所述标签；其中所述缓存控制器还包括：优先级缓存元件，用以暂存所述输出数据欲存储至所述缓存阵列的优先级标签，并判断行标签与所述优先级标签是否相同，所述优先级标签用以表示这次访问应基于特定量化格式来处理；以及量化元件，用以响应于所述优先级标签与所述行标签不同，调整所述输出数据的量化格式为所述优先级标签所纪录的量化格式。

2.根据权利要求1所述的处理系统，其中所述缓冲元件包括第一缓冲组件和第二缓冲组件，所述多个输入数据依序暂存至所述第一缓冲组件，当所述第一缓冲组件的空间被填满时，切换依序暂存至所述第二缓冲组件。

3.根据权利要求2所述的处理系统，其中当所述多个输入数据依序暂存至所述第二缓冲组件时，所述筛选元件自所述第一缓冲组件读取所述多个输入数据。

4. 根据权利要求1所述的处理系统，其中所述筛选元件包括：

多个量化组件，用于基于不同的量化格式量化所述原始数据，以获得对应的中间数据；以及

误差复用组件，用以根据所述中间数据与所述原始数据确定对应的误差，根据所述误差从所述中间数据中确定量化数据。

5.根据权利要求4所述的处理系统，其中所述多个量化组件分时实现所述不同的量化格式。

6.根据权利要求4所述的处理系统，其中所述统计参数为所述输入数据的绝对值的最大值、所述输入数据与相对应中间数据的余弦距离、所述输入数据与相对应中间数据的向量距离至少其中之一。

7.根据权利要求4所述的处理系统，其中所述误差复用组件包括：

误差计算单元，用以计算所述误差；

选择单元，用以生成控制信号，其中所述控制信号对应至误差最小值的中间数据；以及

复用单元，用以根据所述控制信号输出误差最小值的中间数据作为所述输出数据。

8.根据权利要求1所述的处理系统，其中所述量化元件将调整后的输出数据存储至特定行。

9.根据权利要求1所述的处理系统，其中所述缓存阵列包括M×N个缓存元件，所述缓存元件的长度为S比特。

10.根据权利要求9所述的处理系统，其中所述缓存控制器包括N个量化元件。

11.根据权利要求1所述的处理系统，其中所述缓存控制器还包括标签缓存器，用以存储所述行标签。