[发明专利]一种深度神经网络推断处理器的访存性能提升方法

权利要求书

1.一种深度神经网络推断处理器的访存性能提升方法，其特征在于：该方法包括排序队列、访存请求分流模块、队列感知模块和多路选择器；

所述排序队列根据访存请求的内存行地址和读写属性将各个访存请求缓存在不同的队列中；

所述访存请求分流模块将所有的访存请求按内存行地址和读写属性分流到不同的排序队列中，分流模块中设置分流记录表，表中为每个队列记录该队列的队尾访存请求的地址；

所述队列感知模块用于感知队列的长度变化(用感知记录表项来记录)和时间变化(用定时器来记录)，并决策选择将哪一队列的访存请求发往DRAM内存；

所述多路选择器在感知模块的控制下选择某一队列的输出通道将该队列的访存请求发DRAM内存。

2.如权利要求1所述的一种深度神经网络推断处理器的访存性能提升方法，其特征在于：该方法包括如下的工作步骤：

S1：访存请求R到达排序模块后先进入分流模块，转入步骤S2；

S2：如果分流记录表中暂无数据，说明请求R为第一个到达排序模块的访存请求，此时所有排序队列都为空队列，转入步骤S3；若否，则转入步骤S4；

S3：随机选择某一空队列Q，将请求R发往队列Q中，转入步骤S7，并发送一个启动计数信号给队列Q的定时器T_Q；

S4：将请求R的地址与分流表中的记录一一对比，判断是否有某队列Q的队尾请求的bank地址和行地址与R的bank地址和行地址相同，若有，则转入步骤S7；若否，转入步骤S5；

S5：若记录表中仍有某队列的记录为空，说明还有空队列，则转入步骤S3；若否，转入步骤S6；

S6：根据优先级选择某一队列Q，将请求R发往队列Q中，其中优先级设置为：该队列的队尾请求与请求R的bank地址不同但行地址相同该队列的队尾请求与请求R的bank地址不同且行地址也不同该队列的队尾请求与请求R的bank地址相同但行地址不同，转入步骤S7；

S7：更新分流表中队列Q的队尾请求地址为该请求的地址，更新感知记录表中队列Q的队列长度，转入步骤S8；

S8：若队列Q的长度已达到阈值Threshold_length，则发出队列已满的信号；

S9：在收到步骤S3'的定时完毕信号或步骤S8中队列已满信号之一时，将队列Q中所有请求发送给DRAM内存，并清除队列Q在队列感知模块中感知记录表和分流模块中分流记录表的信息，并发送一个停止计时信号给定时器T_Q；

其中，队列Q的定时器T_Q的工作流程如下：

S1'：设置定时器T_Q的计时初值为Threshold_age；

S2'：当收到一个启动计时信号之后，启动T_Q计时过程(每个时钟周期减1)；

S3'：定时器T_Q的计时值变为0时，向步骤S9发出定时完毕信号，同时发出mux信号将队列Q中的所有请求都发往DRAM内存；

S4'：定时器收到停止计时信号后停止T_Q计时过程并转入步骤S1'。

3.如权利要求1所述的一种深度神经网络推断处理器的访存性能提升方法，其特征在于：所述分流模块需要根据DNN任务的层中数据类型的数目、所在的内存行号和访存请求的读写属性来进行分流；所设置的分流记录表来记录队列号和队尾请求地址。

4.如权利要求1所述的一种深度神经网络推断处理器的访存性能提升方法，其特征在于：所述排序队列需要根据访存请求的内存行地址和读写属性将各个访存请求缓存在不同的队列中；队列中的每个访存请求用3个字段组成的三元组表示：请求类型(读请求或写请求)、请求要访问的内存地址和数据(读请求该字段为空，写请求该字段为要写入的数据)，并且排序队列的个数不应小于2。

5.如权利要求1所述的一种深度神经网络推断处理器的访存性能提升方法，其特征在于：所述队列感知模块中队列长度阈值的作用在于防止内存行缓冲命中率过低；年龄阈值的设定，其作用是防止访存请求排队时间过长。