[发明专利]基于两级Q表格的DRAM行缓冲器管理方法

说明书

根据Q‑learning自学习算法的原理，本发明提供一种基于两级Q表格的DRAM行缓冲器管理方法。本发明的创新点在于设计合理的参数来描述行缓冲器的状态，结合DRAM行缓冲器的工作原理，设计合理的动作奖惩值；针对原始Q表格的高昂存储代价，本发明提出两级Q表格的技术方案，根据每个内存行实际的访问情况，按需分配表格条目，避免存储空间的浪费，有效降低存储代价。本发明的优势在于动态适配不同应用程序的内存行访问模式，自学习得到当前系统环境下最优的行缓冲器管理方法，有效提升DRAM行缓冲器的工作效率，降低DARM存储器的访问延时，提升DRAM的存储器性能。

技术领域

本发明涉及一种基于Q-learning算法的DRAM行缓冲器管理方法。

背景技术

DRAM是当前计算机主流的内存存储器。每个DRAM存储单元包含一个晶体管和电容，大量的存储单元构成二维存储阵列，存储阵列再构成内存块(bank)。内存块中的数据以内存行为单位读写，每个内存块都包含一内存行缓冲器(row buffer)，用于缓存来自内存块的内存行数据，用于处理数据读写请求。

根据计算机存储层次结构，最后一级缓存以缓存块为单位向DRAM发起数据访问请求。当读写数据时，内存控制器根据目标缓存块地址，定位DRAM内存块，然后发出行激活命令，将包含目标缓存块数据的内存行加载到内存行缓冲器。内存缓冲器容量远大于缓存块，所以内存缓冲器不仅包含目标缓存块，还包含相邻的其他缓存块。内存控制器再发出列激活命令，定位目标缓存块数据，完成读写操作。最后内存缓冲器中的数据写回到内存块中的对应内存行，同时内存缓冲器清空。

数据从行缓冲器写回内存块的时间点选择的差异，对应不同的行缓冲器管理策略。如果内存行缓冲器完成当前的数据读写后，立即将数据写回内存块，清空内存行缓冲器，即关闭策略；如果内存行缓冲器完成当前的数据读写后，没有立即将数据写回内存块，而是等到下一个数据读写请求到达，并且该请求的目标缓存块数据不在当前内存缓冲器中，即发生行缓冲器缺失时，才将内存缓冲器的数据写回内存块，称为开放策略。

发生行缓冲器数据冲突时，开放策略要将上一次加载的数据先写回内存块，才能加载当前目标缓存块数据对应的内存行，增加了访问延时；而关闭策略，因为提前将数据写回内存块，可直接加载新的内存行，所以没有行缓冲器数据缺失导致的延时。但如果出现内存行缓冲器数据命中，即当前数据访问的目标数据位于上一次加载的内存行时，开放策略下的内存缓冲器可直接进行数据的读写，没有额外的延时；而关闭策略下的内存缓冲器要重新从内存块加载数据，增加了延时。所以，开放策略与关闭策略都会增加数据访问延时。

Q-learning是一种自主学习与决策的算法。Q-learning基于主体与环境之间的互动，构建主体状态与行为关系的Q表格。Q表中的某个值Q(s,a)表示主体位于状态s时，采取动作a的倾向性，值越大表示主体处于状态s时越应该采取动作a，使得收益最大化。所以，Q-learning算法的核心在于构建对应具体问题的Q表格，并更新Q表格，依据Q表格在对应的环境中做出决策。

发明内容

本发明的目的在于提升DRAM行缓冲器的利用率，克服现有技术的不足，提出一种基于两级Q表格的DRAM行缓冲器管理方法。本发明设计合理的参数来描述行缓冲器的状态，结合DRAM行缓冲器的工作原理，设计合理的动作奖惩值；针对原始Q表格的高昂存储代价，本发明提出两级Q表格的技术方案，根据每个内存行实际的访问情况，按需分配表格条目，避免存储空间的浪费，有效降低存储代价。

本发明解决上述问题所采用的技术方案是：基于两级Q表格的DRAM行缓冲器管理方法，其特征在于如下步骤：

每个内存块的行缓冲器配置有地址缓存器和连续访问计数器，地址缓存器用于暂存最近一次加载到行缓冲器的内存行地址；连续访问计数器记录当前地址对应的内存行截止目前时刻，连续被访问的次数，连续访问计数器占用3位二进制数。