[发明专利]二级缓存方法、装置及计算机可读存储介质

说明书

本发明涉及一种大数据技术，揭露了一种二级缓存方法，包括：获取从网页中得到的原始数据集，将所述原始数据集划分为高频数据、普通数据以及模糊数据；创建本地进程内的一级缓存，将所述高频数据存入所述一级缓存中；搭建本地进程外的普通二级缓存，将所述普通数据存入所述普通二级缓存中；构建本地进程外的模糊二级缓存，将所述模糊数据存入所述模糊二级缓存中；接收客户端输入的查询命令，根据所述一级缓存、普通二级缓存以及模糊二级缓存对所述查询命令进行数据的查询，并将查询的结果返回给所述客户端。本发明还提出一种二级缓存装置以及一种计算机可读存储介质。本发明实现了数据的高效存储和查询。

技术领域

本发明涉及大数据技术领域，尤其涉及一种基于进程内+进程外的二级缓存方法、装置及计算机可读存储介质。

背景技术

目前业内流行的缓存分为进程内缓存和进程外缓存两种，进程内缓存有Ehcache/guava cache等，其应用允许相同的JVM内存，主要缺点是占用应用内存可用容量低，限制应用的吞吐量，更新消耗资源且不支持应用间共享。常用的进程外缓存有memcached，主要缺点是多应用公用，出现问题影响巨大，且有连接数上线，高并发热点数据会出现争用。

发明内容

本发明提供一种二级缓存方法、装置及计算机可读存储介质，其主要目的在于当用户在进行数据存储和查询时，给用户提供一种高效的存储和查询方法。

为实现上述目的，本发明提供的一种二级缓存方法，包括：

获取从网页中得到的原始数据集，并按预设的规则将所述原始数据集划分为高频数据、普通数据以及模糊数据；

创建本地进程内的Caffeine缓存，将所述Caffeine缓存作为一级缓存，并将所述高频数据存入所述一级缓存中，通过所述一级缓存查询所述高频数据；

搭建本地进程外的Redis分布式缓存，将所述Redis分布式缓存作为普通二级缓存，并将所述普通数据存入所述普通二级缓存中，通过所述普通二级缓存查询所述普通数据；

构建本地进程外的Elasticsearch分布式搜索引擎，将所述Elasticsearch分布式搜索引擎作为模糊二级缓存，并将所述模糊数据存入所述模糊二级缓存中，通过所述模糊二级缓存查询所述模糊数据；

接收客户端输入的查询命令，根据所述一级缓存、普通二级缓存以及模糊二级缓存对所述查询命令进行数据的查询，并将查询的结果返回给所述客户端。

可选地，所述获取从网页中得到的原始数据集，包括：

创建URL队列，读取所述URL队列内的IP地址，基于HTTP通信协议下载所述IP地址指定的网页数据，并对所述网页数据进行分析得到所述原始数据集。

可选地，所述本地进程内的Caffeine缓存为Java缓存库，及所述通过所述一级缓存查询所述高频数据包括：

记录用户输入的查询命令数据频率，计算出所述用户输入的查询命令数据的缓存最佳命中率，得到所述一级缓存中被查询的高频数据概率，完成所述高频数据的查询。

可选地，所述记录用户输入的查询命令数据频率，计算出所述用户输入的查询命令数据的缓存最佳命中率，包括：

通过统计频率算法记录所述用户输入的查询命令数据频率，并利用Hash算法对所述查询命令数据进行Hash处理，得到所述访问数据的缓存最佳命中率。

可选地，所述通过所述模糊二级缓存查询所述模糊数据，包括：

将用户输入的查询命令数据表示为JSON格式的文档，并对所述文档建立倒排索引，通过所述倒排索引对所述模糊二级缓存的目标文档数据id进行搜索，完成所述模糊数据的查询。