[发明专利]一种数据分类存储方法、装置及系统

说明书

本发明提供一种数据分类存储方法、装置及系统。方法包括：统计步骤，针对一段时间内数据被访问次数进行统计，获取数据的访问特征值；分类存储步骤，根据数据的访问特征值确定数据类型，将数据分类到相应的存储区域进行存储；数据类型更新步骤，基于历史访问数据统计每个单位时间内数据被访问次数，根据若干个单位时间内的数据被访问次数获取数据类型的更新特征值，根据所述数据类型的更新特征值与设定阈值的比较结果，更新数据类型。本发明首先对存储数据进行了自动分类，并根据分类针对不同需求的数据，选用了最合适的存储方式，在不降低访问效率的前提下，大幅降低了存储成本，为大量数据的长期保存和即时访问提供了解决方案。

技术领域

本发明涉及数据存储技术，具体而言，尤其涉及一种数据分类存储方法、装置及系统。

背景技术

随着社会生活数字化程度不断加深，每时每刻都有大量数据产生，诸如照片、视频、设计数据、健康数据、财务数据等等。庞大的数据正在成为一种新的生产资料，催生了数据挖掘、人工智能等新技术业态的发展。如何对数据进行高效的存储，变得日益重要。数据通常分为三类：热数据、温数据、冷数据。热数据访问频次最高，如正在产品设计阶段的设计数据、刚拍摄的影像数据；温数据访问频次较低，一般过一段数据就会访问几次，热数据经过一段时间后基本都转化为温数据；冷数据访问频率很低，只有在特殊需求的时候才会访问。

目前普遍应用的存储设备有硬盘存储、磁带存储、半导体存储、光盘存储。硬盘和半导体存储的优点是存储速度快，但存储寿命短，一般每5年就要进行一次数据迁移，保有成本高；磁带存储虽然数据持有成本低，但访问速度慢，寿命也不超过20年。

发明内容

本发明提出了一种数据分类存储方法、装置及系统。解决了现有技术中存在的存储成本、存储寿命与数据读取速度不匹配的问题，既满足了用户对数据的快速访问，又能够实现低成本长时间的安全存储。

本发明采用的技术手段如下：

一种数据分类存储方法，包括：

统计步骤，针对一段时间内数据被访问次数进行统计，并根据统计结果获取数据的访问特征值；和

分类存储步骤，根据数据的访问特征值，确定数据类型，并根据数据类型将数据分类到相应的存储区域进行存储，所述数据类型包括热数据、温数据和冷数据；

该方法还包括：

数据类型更新步骤，基于历史访问数据统计每个单位时间内数据被访问次数，根据若干个单位时间内的数据被访问次数获取数据类型的更新特征值，根据所述数据类型的更新特征值与设定阈值的比较结果，更新数据类型；

其中分类存储步骤还基于更新的数据类型将数据分类到相应的存储区域进行存储。

进一步地，所述数据类型更新步骤被重复一次或多次。

进一步地，所述根据若干个单位时间内的数据被访问次数获取数据类型的更新特征值，包括：

获取以不小于一年的数据被访问次数的历史统计数据，以月为单位统计数据被访问频次的变化趋势，将数据划分为数据被访问频次逐月递减的的一类数据或者区别与一类数据的二类数据；

利用平均法求取所述一类数据的数据类型的更新特征值；

利用霍尔特双参数指数平滑法预测所述二类数据的被访问次数，再利用平均法基于预测结果求取所述二类数据的数据类型的更新特征值。

进一步地，将所述热数据存储于半导体或硬盘存储介质中；将所述温数据存储在光盘存储介质中。

进一步地，所述半导体或硬盘存储介质中设置有热数据缓冲区，所述热数据缓冲区用于存储最近被访问过的温数据，当所述最近被访问过的温数据在若干个访问周期内均没有被再次访问时，相应的热数据缓冲区存储空间被释放。