[发明专利]一种数据缓存方法及系统

说明书

本发明涉及数据缓存领域，尤其涉及一种数据缓存方法及系统，该方法包括：将主缓存模块根据时间粒度进行分区，每个分区对应相应的配额占比；根据数据长度将数据缓存在对应时间粒度的分区；当任一分区缓存的数据达到配额占比时，将超出配额占比的数据缓存在副缓存模块。通过使用本发明，可以实现以下效果：从时间维度上将数据分类，从而将扁平的数据结构化方式进行管理，并且以时间粒度为单位实时计算对应访问量，从而量化出各时间粒度分区的使用频度，从后续清理缓存提供科学依据。

技术领域

本发明涉及数据缓存领域，尤其涉及一种数据缓存方法及系统。

背景技术

生产过程数据对企业来说是很有价值的，但由于其数据量大，实时性要求高等特点，往往采用实时数据库保存大量历史数据，但对数据进行分析时，并不能区分哪些数据是有用的，因此保存所有数据以防止丢失所需信息。然而缓存容量有限，通过这种缓存方法需要非常大的成本来提高缓存容量，同时由于对所有数据进行缓存，导致有用数据的缓存命中率较低。

发明内容

为解决上述问题，本发明提出一种数据缓存方法及系统。

一种数据缓存方法，包括：

将主缓存模块根据时间粒度进行分区，每个分区对应相应的配额占比；

根据数据长度将数据缓存在对应时间粒度的分区；

当任一分区缓存的数据达到配额占比时，将超出配额占比的数据缓存在副缓存模块。

优选的，当根据查询条件进行数据查询时：

若该数据都缓存在主缓存模块，则更新该数据权重；

若该数据一部分或全部缓存在副缓存模块，则将缓存在副缓存模块的数据迁入主缓存模块；

若数据不缓存在主缓存模块或副缓存模块，则从实时数据库读取该数据，更新该数据权重，并该数据缓存在主缓存模块或副缓存模块。

优选的，所述若该数据一部分或全部缓存在副缓存模块，则将缓存在副缓存模块的数据迁入主缓存模块包括：

根据数据长度确定在主缓存模块所对应时间粒度的分区A；

判断该分区A是否有足够缓存空间；

若有，则直接将该数据缓存在该分区A；

若没有，则释放比该分区A使用频度低的分区的空间，并将释放的空间分配给分区A，并缓存该数据。

优选的，所述释放比该分区A使用频度低的分区的空间，并将释放的空间分配给分区A，并缓存该数据包括：

依次删除比该分区A使用频度低的分区中权重最低的数据，并将删除数据后的空闲空间分配给分区A，若权重最低的数据存在至少两段，则依次删除离最近一次访问时间最久的数据，直到所查询的数据能够缓存，并缓存该查询的数据。

优选的，所述释放比该分区A使用频度低的分区的空间，并将释放的空间分配给分区A，并缓存该数据还包括：

若释放完比分区A使用频度低的分区的所有可用空间，还不能将所述查询的数据缓存，则将该查询的数据进行截取并缓存。

优选的，所述若数据不缓存在主缓存模块或副缓存模块，则从实时数据库读取该数据，更新该数据权重，并该数据缓存在主缓存模块或副缓存模块包括：

根据数据长度确定在主缓存模块所对应时间粒度的分区B；

判断该分区B是否有足够缓存空间；

若有，则直接将该数据缓存在该分区B；