[发明专利]一种数据存储方法及装置

说明书

本发明公开了一种数据存储方法及装置，其中方法包括：基于数据库中存储的各历史数据的存储日期确定存储时间；在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。本发明通过根据历史数据库中历史数据的存储时间，来对超过预设时间的历史数据进行合并压缩，由此能够减小占用的存储空间。

技术领域

本发明涉及数据存储技术领域，特别涉及一种数据存储方法及装置。

背景技术

目前，非关系型的数据库(NoSQL)中，分布式的、面向列的开源数据库(HBase)以其基于日志结构合并树(Log-Structured Merge-Tree，LSM)、预写日志(Write Ahead Log，WAL)以及HFile的多层结构实现对数据的高吞吐量写入性能；同时通过刷新(flush)和合并(compaction)机制，来实现数据落盘及数据文件压缩，在保证高写入性能、持久化的前提下尽可能地提升读性能。

但是，现有技术中在保存数据过程中采用标识映射日期的方式，比如标识某个用户是否在某天登录过账号，或者某个域名是否指向某个IP等。在数据量比较少的情况下，可以通过保存全量记录的方式来设计存储。当数据量大的时候，比如有亿级以上域名与亿级以上IP映射的时候，每天都保存全量记录的方式会造成存储空间占有较大|、查询开销较大的问题。并且在对数据库中存储的数据进行更新时，由于需要先进行查询，因此造成查询操作的开销较大的问题

发明内容

本发明实施例的目的在于提供一种数据存储方法，用于解决现有技术中的数据存储占用存储空间较大的问题。

为了解决上述技术问题，本申请的实施例采用了如下技术方案：一种数据存储方法，包括如下步骤：

基于数据库中存储的各历史数据的存储日期确定存储时间；

在各历史数据的存储时间超过预设时间的情况下，以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据；

将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记；

按照预定的存储方式将所述合并后的数据以及所述映射标存储至所述数据库中。

可选的，所述方法还包括：实时获取待存储的目标数据以及所述目标数据的存储日期；

按照预设的存储格式将所述目标数据以及所述存储日期存储至所述数据库中。

可选的，所述方法还包括：对所述合并后的数据进行压缩，获得压缩后的数据。

可选的，所述预定周期为年；

所述以预定的时间周期为单位将各所述历史数据进行合并，获得合并后的数据，具体包括：

以年为单位将各所述历史数据进行合并，获得合并后的数据。

可选的，将各所述历史数据的存储日期按照预定的格式进行合并，获得用于标记所述合并数据中各历史数据的映射标记，具体包括：

创建包含48个字节的字节数组；其中每个字节包含8个比特位；

基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位；

将所述目标比特位的值设置为第一预设值，将非目标比特位的值设置为第二预设值，以获得所述映射标记。

可选的，所述基于各所述历史数据的存储日期，确定所述字节数组中与各所述历史数据的存储日期对应的比特位，以作为目标比特位，具体包括：