[发明专利]一种冷数据的存储方法和系统

说明书

本发明提供了一种冷数据的存储方法及系统，包括步将冷数据按数据产生时间进行标记；对所述标记后的冷数据按时间周期进行分块，得到分块数据；对每一块冷数据按时间顺序分成N份，所述N大于等于2；将第1份数据存储于第一存储设备，所述第一存储设备保持运行状态；将第2至N份数据依次存储于第2至N存储设备，所述第2至N存储设备存储数据后切换为非运行状态；对所有所述分块数据重复操作；检测所述第1份数据的读取状态，当所述第1份数据被读取时，将所述第2至N存储设备切换为运行状态，并读取所述第2至N存储设备中的第2至N份数据至所述第一存储设备。本发明可解决冷数据的存储时耗电量大、读取延迟大以及磁盘损耗大的问题。

技术领域

本发明涉及大数据存储领域，并且更具体地，涉及一种冷数据的存储方法和系统。

背景技术

根据数据访问频率及规律，存储的数据可分为热数据、温数据和冷数据，其中冷数据是指访问频率极低，且数据量最大的一种数据，如日志数据、监控视频数据等，目前冷数据在所有数据中的占比例高达 80％，如何高效地存储冷数据为目前的一个热门研究方向。

冷数据存储系统是针对不常访问的数据进行低成本大规模存储而设计的一套分布式可扩展的对象存储系统。为了综合读取数据和存储容量，现有的冷数据存储系统通常采用磁盘或光盘作为存储介质，并力图提供近似在线的大容量的数据存储。然而如果操持磁盘一直在线，一方面磁盘的坏盘率会大大升高，极大的提高了购买磁盘的成本；另外一方面，如果磁盘一直保持在线，其耗电量也是巨大的；为了减少磁盘损耗和节约用电，目前的一种流行解决方案是在不需要数据访问时通常会使用磁盘进入休眠状态，然而当需要数据访问时，磁盘从休眠状态到激活状态，根据磁盘的性能需要数秒至几十秒的时间，这又会带来磁盘响应过慢，用户感受到明显的延迟的问题。

发明内容

为了解决磁盘损耗过大、用电量过大以及数据访问慢的问题，本申请提出一种冷数据存储方法及系统。

根据本发明的一个方面，提供一种冷数据存储方法，所述方法包括：

将冷数据按数据产生时间进行标记；

对所述标记后的冷数据按时间周期进行分块，得到分块数据；

对每一块冷数据按时间顺序分成N份，所述N大于等于2；

将第1份数据存储于第一存储设备，所述第一存储设备保持运行状态；

将第2至N份数据依次存储于第2至N存储设备，所述第2至N存储设备存储数据后切换为非运行状态；

对所有所述分块数据重复上述步骤；

检测所述第1份数据的读取状态，当所述第1份数据被读取时，将所述第2至N存储设备切换为运行状态，并读取所述第2至N存储设备中的第2至N份数据至所述第一存储设备。

根据本发明的一个方面，提供一种冷数据存储系统，所述方法包括：

标记模块，所述标记模块将冷数据按数据产生时间进行标记；

分块模块，所述分块模块对所述标记后的冷数据按时间周期进行分块，得到分块数据；

拆分模块，所述拆分模块对每一块冷数据按时间顺序分成N份，所述N大于等于2；

第一存储模块，所述第一存储模块将第1份数据存储于第一存储设备，所述第一存储设备保持运行状态；

第二存储模块，所述第二存储模块将第2至N份数据依次存储于第2至N存储设备，所述第2至N存储设备存储数据后切换为非运行状态；

重复操作模块，所述重复操作模块对所有所述分块数据重复拆分模块、第一存储模块以及第二存储模块的功能；