[发明专利]一种基于Redis的海量数据分类存储方法及系统

说明书

本发明提供了一种基于Redis的海量数据分类存储方法及系统，包括：步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hashkey以及field；步骤S4：将数据标识ID对应的数据内容作为hashvalue；步骤S5：将hashkey、field以及hashvalue存储至redis中。本发明通过采用将用户数据标识转换为数字的形式，并以hash类型数据存储在redis中，从而达成减少内存占用的目的。

技术领域

本发明涉及计算机技术领域，具体地，涉及一种基于Redis的海量数据分类存储方法及系统。

背景技术

目前在对庞大的用户数据处理时，一般有以下几种常见的处理方式：

直接将用户数据存储在数据库中：这种方式对用户数据的增长几乎没有限制，而且硬盘的成本较内存便宜，但是查询数据的效率和响应时间远逊于内存型数据库redis，对于实时广告交易系统而言，将增加广告竞价响应超时率，而且随着用户数据的增加，查询时间会增加，这样会进一步增加响应超时率；

将用户数据直接以key-value键值对的方式存储在redis中，这样方式会导致占用比本专利使用的方式多8倍的内存空间，服务器成本需要响应增加很多，而且难以满足用户数据量的持续增长，同时在业务操作用户数据增删改时，导致更多内存碎片的产生。

专利文献CN111198880A(申请号：201911329397.8)公开了一种基于redis的数据存储方法、装置及电子设备，所述方法包括：根据redis的存储类型将数据分为第一数据结构和hash数据结构；采用BitMap和Murmur存储所述第一数据结构的数据；采用所述hash数据结构和一致性hash做block分布存储所述hash数据结构的数据。通过本发明基于redis的数据存储方式，解决了高并发低延迟场景下的存储问题，实现了在高并发低延迟场景下的快速读写，大大提高了用户体验。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于Redis的海量数据分类存储方法及系统。

根据本发明提供的一种基于Redis的海量数据分类存储方法，包括：

步骤S1：将数据分类，并为每一个类别数据定义一个数据类别ID；

步骤S2：针对每一种数据类别，根据对应的实际业务的数据规模，计算hash桶的数量N；

步骤S3：将数据标识ID、数据类别ID以及数据桶的数量N作为入参因子，进行hash计算，得到hash key以及field；

步骤S4：将数据标识ID对应的数据内容作为hash value；

步骤S5：将hash key、field以及hash value存储至redis中。

优选地，所述步骤S2包括：

N＝总数据量/512，N向上取整。

优选地，所述步骤S3中hash key包括：分别将数据标识ID、数据类型ID以及数据桶的数量N作为因子，使用hash算法A，计算出整数型的散列结果A，并将整数型的散列结果A作为redis的hash数据类型的hash key；

所述hash算法A是利用CRC32算法对数据标识ID进行分散计算后，再对hash桶数量进行求余计算，实现把不同的用户数据的key尽可能均匀的保存到不同的数据桶中；

所述整数型的散列结果A包括：

整数型的散列结果A＝数据类别ID*数据桶的数量N+数据标识ID’；