[发明专利]一种基于对象存储的大文件分布式缓存系统

说明书

本发明公开一种基于对象存储的大文件分布式缓存系统，涉及文件缓存技术领域，其结构包括系统主体、缓存插件、对象存储和数据库，其运行过程包括A、B两部分。A、缓存的获取或存入：所述缓存插件向系统主体发送查询或存入请求，系统主体根据请求到数据库中查询，并返回数据库的查询结果。B、缓存的自动管理：基于缓存占有空间与触发流转流程阈值的比较、缓存的热度值、缓存容量和与删除阈值的比较，将缓存自动放入对象存储的不同区域。本发明可以提升多媒体处理等长耗时操作的体验，可以充分利用项目中已有的对象存储，降低项目的复杂性，还可以自动进行垃圾清理，在保证缓存命中率的前提下尽量减少缓存空间的消耗与存储成本。

技术领域

本发明涉及缓存系统，具体的说是一种基于对象存储的大文件分布式缓存系统。

背景技术

分布式缓存是很多互联网项目中必不可少的东西，对热点数据的缓存使得响应时间减少，可以大大减轻服务的压力。现有的分布式缓存中间件有Memcache、Redis等，他们拥有响应快、可用性高等优点，但是其只能满足小文件的分布式缓存，当文件增大到兆字节甚至更高的级别时，这些已有的解决方案就无法支撑了。

而现在互联网存在着大量的多媒体压缩、多媒体截屏等数据即时处理操作，这种处理非常耗时，产生的数据也符合热点数据分布定律，因此需要对应的分布式缓存方案。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种基于对象存储的大文件分布式缓存系统，利用对象存储技术，满足了大文件的分布式缓存需求。

本发明的一种基于对象存储的大文件分布式缓存系统，解决上述技术问题采用的技术方案如下：

一种基于对象存储的大文件分布式缓存系统，其结构包括系统主体、缓存插件、对象存储和数据库，其运行过程包括A、B两部分；

A、缓存的获取或存入：

所述缓存插件向系统主体发送查询或存入请求，系统主体根据请求到数据库中查询，并返回数据库的查询结果，

B、缓存的自动管理：

基于缓存占有空间与触发流转流程阈值的比较、缓存的热度值、缓存容量和与删除阈值的比较，将缓存自动放入对象存储的不同区域。

进一步的，在A部分，缓存获取的具体执行流程为：

(A.1.1)缓存插件向系统主体发送查询请求，

(A.1.2)系统主体根据请求到数据库中查询是否有符合条件的缓存，

(A.1.2a)如果是，则数据库向系统主体返回此缓存的对象存储地址，并将此缓存记录的更新时间更改为此刻，同时，将删除标记置为false,命中次数加一，

(A.1.2b)如果否，则数据库向系统主体返回空。

更进一步的，在A部分，缓存存入的具体执行流程为：

(A.2.1)缓存插件向系统主体发送查询请求，

(A.2.2)系统主体根据请求到数据库中查询是否有同一标签的缓存，

(A.2.2a)如果是，则返回已经存在的信息，

(A.2.2b)如果否，则将此缓存存入对象存储中，并在数据库中创建一条记录。

更进一步的，缓存在数据库中有一一对应的记录，此记录中有包含更新时间、创建时间、唯一标签、删除标记、对象存储的存储区域、对象存储地址、命中次数。

优选的，所涉及缓存包含大文件，还包含一个唯一性标识此大文件的标签。

进一步的，在B部分，缓存自动管理的具体执行流程包括：