[发明专利]一种大数据迁移的方法及系统

权利要求书

1.一种大数据迁移的方法，其特征在于：包括以下步骤：

S1.在指定遗留系统中为指定的遗留文件系统建立一个代理程序，所述的代理程序能够从遗留文件系统中读出元数据，也能读出或者写入数据；

S2.基于步骤S1，代理程序读出的元数据被导入到大数据文件系统中，并根据该元数据，在大数据文件系统中按照与大数据文件系统兼容的格式建立且保存遗留文件系统存根；

S3.大数据文件系统通过代理程序从遗留文件系统存根对应的遗留文件系统中读/写数据，数据读写的结果将被返回给外部数据I/O读写请求的发起者。

2.根据权利要求1所述的大数据迁移的方法，其特征在于：包括以下步骤：

所述的步骤S1的具体如下：

S11.用于分析的数据产生于各个分散的异构遗留系统，且保存在各个异构的遗留文件系统中；

S12.为了确保数据安全，屏蔽大数据文件系统中客户端和服务器端对这些数据的直接访问；

S13.在每个遗留系统中为每个指定的遗留文件系统建立一个代理程序，该代理程序能够从遗留文件系统中读出元数据，也能读出或者写入数据。

3.根据权利要求1所述的大数据迁移的方法，其特征在于：包括以下步骤：

所述的步骤S2的具体如下：

S21.将指定遗留系统中指定的遗留文件系统对应的代理程序读出的元数据导入到大数据文件系统中；

S22.大数据文件系统中为遗留文件系统存根建立一个命名空间；将导入的遗留文件系统中的文件和目录按照预置的顺序放置在大数据文件系统元数据中所述命名空间之下；

S23.按照大数据文件系统兼容格式建立且保存对应遗留文件系统中的文件和目录；根据导入的遗留文件系统元数据信息，按照大数据文件系统兼容格式建立且保存它们的元数据信息。

所述的步骤S2根据系统实现的需要，用于建立遗留文件系统存根的元数据信息的传输可以有不同的实现方式。

4.根据权利要求1所述的大数据迁移的方法，其特征在于：包括以下步骤：

所述的步骤S3的具体如下：

S31.I/O读写请求到达大数据文件系统中的指定遗留文件系统存根的时候，大数据文件系统将根据该I/O读写请求对应的文件或者目录，获取必要的预先保存的信息，包括遗留文件系统对应的遗留系统及代理程序、以及访问他们的方式；

S32.获取的信息帮助大数据文件系统元数据服务器或者服务器完成客户端发送的I/O读写请求；

S33.数据读写的结果将被返回给外部数据I/O读写请求的发起者。

5.一种大数据迁移系统，其特征在于：包括数据服务器、客户端和遗留系统；

所述的数据服务器、客户端和遗留系统之间有以下连接方式：

(1)所述的数据服务器均与客户端和遗留系统连接进行数据交互；

(2)所述的数据服务器、客户端和遗留系统之间互连进行数据交互；

所述的大数据迁移系统通过以上两种连接方式进行数据交互。

6.根据权利要求5所述的大数据迁移系统，其特征在于：所述的大数据迁移系统还包括代理服务器；通过代理服务器进行数据交互，所述的代理服务器、数据服务器、客户端和遗留系统之间有以下连接方式：

(a)所述的数据服务器、客户端和遗留系统均与代理服务器相连进行数据交互；

(b)所述的数据服务器和遗留系统均与代理服务器相连进行数据交互；所述的客户端与数据服务器连接进行数据交互。

所述的大数据迁移系统还可通过以上两种连接方式进行数据交互。

7.根据权利要求5所述的大数据迁移系统，其特征在于：所述的遗留系统为多个。

8.根据权利要求5所述的大数据迁移系统，其特征在于：所述的遗留系统包括代理程序模块和遗留文件系统；所述的遗留文件系统与代理程序模块之间进行数据交互。

9.根据权利要求1～8任一项所述的大数据迁移系统，其特征在于：所述的代理服务器为单个代理服务器或由多个代理服务器构成的代理服务器集群，所述元数据的内容包括所述遗留文件系统的目录、文件和对应的层次结构，以及文件的大小、修改时间和访问权限；所述的遗留文件系统存根的内容包括I/O读写请求所要访问的文件或者目录对应的代理程序的位置、文件或者目录在遗留文件系统中的相对路径、文件的大小和修改时间。