[发明专利]一种数据迁移方法和系统

说明书

技术领域

本发明涉及数据存储技术领域，特别是涉及一种数据迁移方法和系统。

背景技术

随着计算机硬件和软件技术的不断发展，数据的使用量和交换量都在急剧攀升。一般的存储器都会有数据迁移，但是对系统中数据迁移过程中的具体数据无法判断。由于数据数量大、机器中磁盘容量限制等等的原因，会增加数据迁移的困难，频繁的进行数据的迁移，即浪费了时间，又降低了存储器的使用寿命。

存储器设备在工作的时候都会处理存储大量的数据，如果是海量数据的情况，比如大文件或者很多的小文件数据会产大量的对象进行存储，从而可能对系统造成障碍堵塞的可能状况。存储器设备中所存储的数据一般是“二八原则”，也就是大约仅仅20％的重要数据，80％为其他普通的数据，可能在系统中60％至80％的数据在一个月，或者更长的时间内都不会被命中访问到，即出现了“死数据”的现象。

尤其在存储器的镜像系统测试时，由于大型的存储器对数据的处理设计要求很高，不论是前期的数据写入和后期的数据保护，通常会加入一些技术来管理数据，防止设备在工作过程出现不确定因素，造成设备中的数据写入进程卡死或者数据的丢失，会对系统中数据造成的损坏。一旦无法保证客户使用设备中的数据，不论是由于设计上的失误、人为操作、或者其他的意外情况都有可能对用户造成很大的损失。

为了防止此现象的出现，现有技术中通常在设计的时候，只利用数据的优先级选择数据或者有的只是过分地关注迁移的速度问题。但是当设备中数据为PB量级的存储系统，通过数据迁移，会造成设备资源严重性浪费情况，甚至会在读写海量数据时，系统磁盘会崩溃掉，这对存储器而言是致命的。

发明内容

本发明的目的是提供一种数据迁移方法和系统，减少或避免设备中的数据写入进程卡死或者数据的丢失，减少对系统中数据造成的损坏，提高存储器的使用寿命。

为解决上述技术问题，本发明实施例提供了一种数据迁移方法，包括：

步骤1，接收达到迁移条件的存储数据迁移指令；

步骤2，根据所述存储数据的存在时间越短价值越高、在预定周期中I/O访问频率越高价值越高的原则对所述存储数据进行价值评估；

步骤3，判断所述存储数据的价值是否超过阈值；

若是，步骤4，将所述存储数据迁移到高速率OSD存储器中，否则，步骤5，将所述存储数据迁移到海量OSD存储器中。

其中，在所述步骤4或所述步骤5之后，还包括：

步骤6，记录所述存储数据迁移后的数据价值。

其中，所述步骤3还包括：

创建所述存储数据的数据迁移主线程，并创建数据文件迁移队列任务。

其中，在所述步骤3中，还包括：

判断当前等待文件迁移任务队列中的数据价值是否小于所述存储数据的数据价值；

若是，停止所述当前等待文件迁移任务队列或变更所述当前等待文件迁移任务队列。

其中，在所述步骤6之后，还包括：

步骤7，依据所述系统的当前的负荷值，调整当前的数据迁移速率。

其中，所述步骤7包括：

对系统的负荷进行监控，获取所述系统当前的负荷值；

判断所述系统当前的负荷值是否超出阈值；

若是，调整当前的数据迁移速率。

其中，在所述步骤7之后，还包括：

步骤8，周期性查询数据迁移计划。

除此之外，本发明实施例还提供了一种数据迁移系统，包括数据存储模块、数据价值评估模块和迁移回迁模块，所述数据价值评估模块用于对数据价值评估模块中的数据的价值依据存在时间越短价值越高、在预定周期中I/O访问频率越高价值越高的原则进行价值评估，所述迁移回迁模块与服务器、所述数据价值评估模块连接，接收服务器发出的迁移回迁指令，并将数据价值高于阈值的数据迁入高速率OSD存储器、数据价值低于阈值的数据迁入海量OSD存储器，所述数据存储模块用于存储缓冲数据，与所述数据价值评估模块、服务器连接，并依据所述缓冲数据的价值向所述服务器发送数据迁移命令，并将数据存储量发送到所述数据价值评估模块，所述服务器将所述数据的迁移结果反馈到所述数据价值评估模块。

其中，还包括与所述迁移回迁模块连接的分级管理模块，用于为所述数据迁移创建主线程，建立数据文件迁移任务对队列，并进行数据迁移操作。