[发明专利]一种基于用户行为的云存储数据分级方法

说明书

本发明属于云存储技术领域，具体来说是一种基于用户行为的云存储数据分级方法。本发明的方法主要包括：云平台将用户对数据的操作行为进行统计，所述操作行为至少包括上传、下载、传递、收藏和删除，所述统计至少包括统计操作行为发生的时间以及次数，根据统计数据，计算某时刻数据文件的价值：在目标时间段内，根据操作次数赋予数据价值；预估数据当前时刻价值：根据该数据在一段时间内不同序列上的价值，采用评估方法进行预估，根据数据当前时刻价值，对存储的所有数据进行价值排序，并将排序集合的前10％定义为热数据，前20％‑10％定义为一般数据，其余定义为冷数据，根据对数据的定义，对数据进行相应存储位置的移动。

技术领域

本发明属于云存储技术领域，具体来说是一种基于用户行为的云存储数据分级方法。

背景技术

数据随着使用人数和时间呈几何级增长，云存储平台中95％以上是难以管理的非结构化数据，例如各类文档、照片、音频文件、视频文件等，这些数据80％以上在创建后就成为不会被访问的数据，但这些数据根据用户需求也需要被云存储系统保存。数据存储介质的价格受访问速率、使用年限等的性能因素影响，因此可以采用数据分级方式，将访问率较低的数据(冷数据)存储在访问速率较慢的存储介质中，访问率较高的数据(热数据)存储在访问速度较快的存储介质中，以此来降低云存储系统的搭建、管理成本。

云存储系统中，根据不同的存储介质性价比，组成不同等级的硬件分层存储系统，并且使用软件算法来将数据分级后存储到对应层次的存储介质中，这样既能满足用户海量数据的存储需求，也能不影响数据读写效率的情况下降低总成本。数据分级的具体实现技术即为云存储系统搭建中的核心技术之一。

现有的数据区分方法分为两类：基于数据访问率的Cache替换方法和根据数据价值判定法。基于数据访问率的Cache替换方法在面对大规模数据时，其性能对云存储平台影响较大。根据数据价值判定法，需要每次计算所有数据价值，然后进行排序，只简单考虑了存取时间先后问题，未考虑不同时间序列上的数据价值。

发明内容

针对上述问题，本发明提供一种基于用户行为的云存储数据分级方法。

本发明的技术方案是：

一种基于用户行为的云存储数据分级方法，其特征在于，包括以下步骤：

S1、云平台将用户对数据的操作行为进行统计，所述操作行为至少包括上传、下载、传递、收藏和删除，所述统计至少包括统计操作行为发生的时间以及次数；

S2、根据步骤S1中的统计数据，计算某时刻数据文件的价值：在目标时间段内，根据操作次数赋予数据价值；所述价值的定义是用于反应数据的重要程度；

S3、预估数据当前时刻价值：根据该数据在一段时间内不同序列上的价值，采用评估方法进行预估；

S4、根据数据当前时刻价值，对存储的所有数据进行价值排序，并将排序集合的前10％定义为热数据，前20％-10％定义为一般数据，其余定义为冷数据；

S5、根据对数据的定义，对数据进行相应存储位置的移动。具体是，热数据保留在高速存储介质中，如固态硬盘，一般数据移动到高速SATA硬盘介质中，冷数据移动到低俗存储介质中，如低速SATA硬盘介质或近线存储中。移动为多线程分批移动，移动时，将数据移动到指定位置后，删除原位置数据，并在数据库中进行相应路径记录的更新。

数据分级计算过程因消耗较多CPU，数据移动过程会消耗较多存储介质I/O资源，选择在每天凌晨用户量较小的时间进行，能够不影响用户的正常使用。

本技术方案从云存储平台中用户的行为分析为重点，根据数据的特性进行了分级，可将访问量较高的“热数据”存放在高速存储设备中，而访问量较低的“冷数据”存放在低速存储设备中。既保证了用户在使用云存储对数据的操作过程中的效率不受影响，又极大程度的降低了云存储系统中硬件成本的投入。