[发明专利]计算系统、冷热数据分离方法及装置、计算机可读存储介质

说明书

本发明涉及计算系统、冷热数据分离方法及装置、计算机可读存储介质。所述冷热数据分离方法是计算系统中的冷热数据分离方法，所述计算系统包括第一数据库和第二数据库，所述方法的特征在于，包括：提取所述第一数据库中的包括冷业务数据和热业务数据的全量业务数据的步骤，其中所述第一数据库中的热业务数据被存储在内存中；将所提取的所述全量业务数据导入至所述第二数据库的步骤，其中所述第二数据库中的所述全量业务数据被存储在磁盘中；以及基于预先确定的淘汰机制将导入至所述第二数据库之前的所述全量业务数据中的所述冷业务数据删除以在所述第一数据库中更新存储所述热业务数据的步骤。

技术领域

本发明属于数据存储领域，涉及计算系统、冷热数据分离方法及装置、计算机可读存储介质。

背景技术

在项目使用中，为了满足高并发的业务场景，常常使用Redis（REmote DIctionaryServer，远程字典服务器）数据库来进行数据存储。Redis数据库是一种速度非常快的高性能的key-value（键-值）数据库并且是基于内存的数据结构存储开源系统，采用C语言编写，数据存在内存中，运行效率极高。因其高性能和可持久化的特点，Redis数据库的使用非常流行。

当使用Redis数据库来存储全量业务数据时，虽然其读写速度快，但是也具有很多缺点：

1）随着业务扩展，业务数据量不断增加，Redis的内存消耗情况不容小觑，成本较为昂贵；

2）在开启持久化功能时，内存的瞬间占用成倍增长，并且磁盘IO异常繁忙，可能导致短暂时间内的读写超时；

3）一旦服务器宕机或进程遭误杀，内存中的数据将全部（未开启持久化功能）或部分（开启持久化功能）丢失。

为了应对内存的过大消耗，也常常使用SSDB（Sequence Similarity DataBase，序列相似性数据库）来进行数据存储。SSDB是一种支持Redis协议的NoSQL数据库并且是基于硬盘存储的，容易扩展。

尽管SSDB数据库能够存储十亿级别列表数据，但是在实际应用中存在以下问题：

1）使用Google的LevelDB作为存储引擎，SSDB的有序列表zset（sorted set，有序集合）是依赖LevelDB按key进行排序的特性实现的，效率较低；

2）LevelDB具有很高的随机写、顺序读/写性能，但是随机读的性能很一般，即，LevelDB不适合应用在读取/查询较多而写入/修改较少的场景中；

3）SSDB在执行删除命令时内存和磁盘不会即时释放，需要等到压缩时才会释放；

4）在某些条件被触发时，SSDB会通过compaction（压缩）命令对已有的记录进行整理压缩来删除掉一些不再有效的KV数据，从而减小数据规模、减少文件数量等，而压缩操作会耗费较多资源（CPU（Central Processing Unit，中央处理单元）、内存），因此在高并发的情况下，压缩操作的发生时机无法预知，资源使用情况不可控；

5）读取记录比较复杂，需要在内存以及各个层级文件中依照新鲜程度依次查找，代价很高。

发明内容

本发明是为了克服上述缺点的一个或多个、或其它缺点而完成的，所采用的技术方案如下。

根据本发明的一个方面，提供一种计算系统，包括：第一数据库，其对应的数据为包括热业务数据和冷业务数据的全量业务数据中的所述热业务数据，并且该热业务数据被存储在内存中；第二数据库，其对应的数据为所述全量业务数据，并且该全量业务数据被存储在磁盘中；全量数据转移组件，其被配置成提取所述全量业务数据并将其导入至所述第二数据库；以及冷业务数据淘汰组件，其被配置成基于预先确定的淘汰机制将导入至所述第二数据库之前的所述全量业务数据中的所述冷业务数据删除以得到所述第一数据库中的所述热业务数据。