[发明专利]一种大数据快速读取的DLK方法

摘要

本发明涉及一种大数据快速读取的DLK方法，其特征在于，缓存空间内存储的缓存基本单位为Data,Timestamp,K，将缓存空间划分为数据区及列表区，数据区用于存储Data，列表区用于存储Timestamp及K。本发明提出的分布式存储模式的面向记录的缓存方法，可以有效的提升分布式存储模式中的面向记录的检索效率，该方法优化了面向记录的检索速率，使用双队列的结构缓存高频和低频的缓存数据提升了缓存的命中率。在缓存空间中，划分了数据区和列表区，进一步优化了缓存的查询和异步执行效率。从优化算法提高命中率和优化数据存储结构提升执行效率两个方面提升了分布式存储模式的检索性能。

主权项

1.一种大数据快速读取的DLK方法，其特征在于，缓存空间内存储的缓存基本单位为，Data为序列化数据，Timestamp为访问时间，K为访问频次，将缓存空间划分为数据区及列表区，数据区用于存储Data，列表区用于存储Timestamp及K，则所述DLK方法包括以下步骤：步骤1、客户端发起检索请求，检索请求中包括了需要获取的数据的主键，系统接收到检索请求后，判断需要获取的数据是否在缓存空间中，若在缓存空间中，则缓存命中，从缓存空间中获得检索结果，若不在缓存空间中，则缓存未命中，从数据库中获得检索结果，将检索结果返回客户端；步骤2、检索结果返回客户端时，同时发生缓存更新操作，若步骤1中为缓存未命中，则缓存更新操作包括以下步骤：步骤2011、将从数据库得到的数据序列化为序列化数据Data，记录访问频次K和访问时间Timestamp；步骤2012、判断第一级缓存队列是否还有存储空间，若第一级缓存队列已满，依据LRU规则，淘汰第一级缓存队列中的一条数据，进入下一步，否则直接进入下一步；步骤2013、缓存数据；若步骤1中为缓存命中，则缓存更新操作包括以下步骤：步骤2021、判断检索结果是否在第一级队列命中，若不是，则进入步骤2022，若是，则进入步骤2024；步骤2022、更新检索结果对应的访问频次K及访问时间Timestamp；步骤2023、依据LRU规则更新第二级队列；步骤2024、更新检索结果对应的访问频次K及访问时间Timestamp；步骤2025、判断访问频次K是否大于等于Kmax，Kmax为访问频次阈值，若不是，则依据LRU规则更新第一级队列，若是，则进入步骤2026；步骤2026、判断第二级队列是否还有空间，若有空间，则将检索结果对应的数据缓存进第二级队列并在第一级队列中删除，若没有空间，则依据LRU规制淘汰第二级队列一条数据后，将检索结果对应的数据缓存进第二级队列；步骤2027、将第二级队列的淘汰数据缓存进第一级队列，依据淘汰数据的访问时间Timestamp将淘汰数据插入第一级队列，确保第一级队列的时间戳有序性；步骤2028、更新淘汰数据的访问频次K，重置淘汰数据的访问频次K为相邻两条缓存数据的访问频次K的平均值，假设淘汰数据插入第一级队列的位置i处，则淘汰数据的访问频次K为：K_i‑1为第一级队列的位置i‑1处的数据的访问频次，K_i+1为第一级队列的位置i+1处的数据的访问频次。