[发明专利]数据转存方法、装置和数据管理服务器

说明书

本发明提供了一种数据转存方法、装置和数据管理服务器，涉及大数据技术领域，其中，该方法包括：获取第一数据存储集群中数据的访问频率；根据访问频率确定数据是否需要转存；在确定需要转存的情况下，将数据从第一数据存储集群转存至与访问频率相匹配的级别的数据存储集群。本发明依据数据的访问频率确定数据的转存策略，能够在降低大数据存储成本的同时，更加合理地分布存储数据，保证高访问热度的数据能够被快速访问，从而提高了大部分用户的数据访问体验度。

技术领域

本发明涉及大数据技术领域，尤其是涉及一种数据转存方法、装置和数据管理服务器。

背景技术

在大数据领域内，数据调度是一种基本需求。例如，在进行数据备份时，把数据从高级别的数据存储集群复制到低级别的数据存储集群，以防止数据误删。由于高级别的数据存储集群的存储成本较高，为了整体上降低数据存储成本，将部分数据从高级别的数据存储集群转存至低级别的数据存储集群。

相关方式中，根据数据的保存时间确定数据的转存策略。通常，数据新生成时往往存储在高级别的数据存储集群，由于高级别的数据存储集群空间有限且成本较高，如果某些数据存储时间较长，则会将这些数据转存至低级别的数据存储集群。但这种转存策略欠缺一定的合理性，具体而言，由于低级别的数据存储集群的访问速度较慢，如果将存储时间较长、但用户经常访问的数据转存至较低级别的数据存储集群，易导致数据访问速度很慢，从而降低了用户的数据访问体验度。

发明内容

有鉴于此，本发明的目的在于提供一种数据转存方法、装置和数据管理服务器，以在降低大数据存储成本的同时，更加合理地分布存储数据，从而提高大部分用户的数据访问体验度。

第一方面，本发明实施例提供了一种数据转存方法，该方法应用于数据管理服务器；该方法包括：获取第一数据存储集群中数据的访问频率；根据访问频率确定数据是否需要转存；在确定需要转存的情况下，将数据从第一数据存储集群转存至与访问频率相匹配的级别的数据存储集群。

在本发明较佳的实施例中，上述根据访问频率确定数据是否需要转存，包括：判断访问频率是否在访问频率范围内；其中，访问频率范围与第一数据存储集群的级别对应；在访问频率不在访问频率范围内的情况下，确定数据需要转存。

在本发明较佳的实施例中，上述将数据从第一数据存储集群转存至与访问频率相匹配的级别的数据存储集群，包括：在访问频率低于访问频率范围的下限值的情况下，将数据转存至级别低于第一数据存储集群的级别的数据存储集群中；在访问频率高于访问频率范围的上限值的情况下，将数据转存至级别高于第一数据存储集群的级别的数据存储集群中。

在本发明较佳的实施例中，上述在将数据转存至低于第一数据存储集群的级别的数据存储集群中之前，方法还包括：在数据为原始数据的情况下，对数据进行压缩处理，得到压缩后的数据；在将数据转存至高于第一数据存储集群的级别的数据存储集群中之前，方法包括：在数据为压缩数据的情况下，对数据进行解压处理，得到解压后的数据。

在本发明较佳的实施例中，上述如果数据中包含多个文件，将数据转存至级别低于第一数据存储集群的级别的数据存储集群中之前，方法还包括：判断数据的多个文件中是否存在文件数据量小于预设的数据量阈值的文件；在存在的情况下，对文件数据量小于数据量阈值的文件进行合并处理，得到处理后的数据。

在本发明较佳的实施例中，上述将数据转存至级别低于第一数据存储集群的级别的数据存储集群中，包括：确定数据的待转存的数据存储集群的级别；从预设的数据血缘关系中查找数据是否存在依赖数据；在存在依赖数据的情况下，判断依赖数据所处的数据存储集群的级别是否低于或等于待转存的数据存储集群的级别；在确定依赖数据所处的数据存储集群的级别低于或等于第一数据存储集群的级别的情况下，将数据转存至待转存的数据存储集群中。