[发明专利]一种用于系统存取的冷热数据识别优化方法

说明书

本发明公开了一种用于系统存取的冷热数据识别优化方法，利用时效表格和访问程度表格分别缓存时效性强的数据和访问频繁程度高的数据，将缓存链表中淘汰的数据保存到辅助链表，根据工作负载来预测最佳冷热数据识别，并进行自适应调整识别调整，以适应系统访问最优化调整，根据调整时效表格和访问程度表格的长度来适应实际中的不同的工作负载，在时效表格和访问程度表格中的数据为热数据，采用辅助链表作为再缓存辅助存储列表，辅助链表中仅存放数据页面信息，不存储具体的数据，大大节省了内存空间，通过结合数据的时效性和访问频繁程度，自适应调整冷热数据识别，从而达到系统存储空间的合理分配，提高系统运行效率，降低系统运行成本。

技术领域

本发明属于计算机数据存储技术领域，尤其涉及到一种用于系统存取的冷热数据识别优化方法。

背景技术

近些年来，互联网的规模不断扩张，数据量不断的增大，各种系统都需要存储大量的数据，有些数据经常访问，则说明此类数据的热度非常高，可能未来一段时间还会被经常访问。有的数据基本上不被访问，则说明此类数据的关注度很低，可能未来一段时间也不会被访问。因此将这两类数据分为冷热数据。在实际情景中，数据的访问模式大多具有一定的“局限性”的，即有些数据会被频繁访问，称为热数据，有些数据则很少或几乎不被访问，称为冷数据。在现代存储系统的设计中通过考虑数据的冷热，将冷热数据识别出来并分离存储，有效提高存储系统的整体性能。因此，冷热数据的识别机制是数据库研究的热点，冷热数据的准确性识别和预测，有效地降低数据的存储成本，同时很好地提高系统性能。而目前冷热数据主要是依靠人为识别分类或者通过数据生成时间来进行识别冷热数据的方法，或者采用基于数据的访问频繁程度来区分冷热数据，目前方法忽略了数据访问频率对数据冷热程度的影响，以及数据生成时间对冷热数据的影响，而访问频率和数据生成时间均对冷热数据有较大的影响，随着存储数据的规模越来越庞大，无法有效对冷热数据进行存储，则会导致数据的存储成本增高，在海量存储数据时数据查询效率和控制成本方面急需提高，因此如何兼顾数据生成时间和数据访问频率来进行冷热数据的识别是现在研究的热点问题。

发明内容

本发明的目的在于提供一种用于系统存取的冷热数据识别优化方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种用于系统存取的冷热数据识别优化方法，包括以下步骤：

S1，按访问时间顺序将系统访问的数据信息依次排列存储至时效表格中，当时效表格中存储的数据信息连续被访问达到设定阈值，则将该数据信息存储至访问程度表格中，并从时效表格中移除该数据信息；

S2，当时效表格和访问程度表格达到存储上限时，且有新的访问数据进入时效表格或访问程度表格时，则将时效表格或访问程度表格中最末端的数据信息移除，同时将该数据信息所对应的数据链存储至辅助表格中，同时对该数据信息标注时效表格标签或访问程度表格标签；

S3，当在设定时间范围内，辅助表格中的数据被访问达到再访问次数阈值，则将该数据返回至与其标签对应的时效表格或访问程度表格中，同时，将该数据返回对应的时效表格或访问程度表格长度加一，将该数据返回未对应的访问程度表格或时效表格长度减一，从而实现系统存取数据的优化。

进一步的，当访问程度表格满存时，有新的数据被访问达到设定阈值进入访问程度表格，则排在访问程度表格最末端的数据被淘汰，将淘汰数据信息存储在辅助链表中，并对该数据信息设置与访问程度表格对应的标签。

进一步的，将从访问程度表格中淘汰的数据信息存储至辅助链表中，设置访问位为1。

进一步的，具体的，在辅助链表中存储页面信息之前设置访问位为1。

进一步的，当有一个新数据被访问时且时效表格满存时，从时效表格的尾部淘汰数据，并将淘汰的数据信息存储在辅助链表中，并对该数据信息设置与时效表格对应的标签。