[发明专利]用于在跨网络的大数据平台之间转移文件的方法和系统

权利要求书

1.一种用于在跨网络的大数据平台之间转移文件的方法，包括：

从第一大数据平台提取所述文件；

生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段；

通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息；

通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列；和

根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台，

其中，所述通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列的步骤进一步包括：

所述数据接收端中的接收代理模块通过所述网络接收所述文件信息和所述至少一个数据段；和

所述接收代理模块将所述至少一个数据段写入所述分布式消息队列中的消息队列，并将所述文件信息写入所述分布式消息队列中的消息监听队列，

其中，所述数据接收端中的数据接收模块监听分布式消息队列并且根据消息监听队列中的内容找到对应的消息队列。

2.根据权利要求1所述的方法，还包括：对所述第一大数据平台中的所述文件所包含的数据进行脱敏处理和/或压缩处理。

3.根据权利要求1所述的方法，其中，所述通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息的步骤进一步包括：

所述第一大数据平台将所述文件信息和所述至少一个数据段传递至所述数据发送端中的发送代理模块；和

所述发送代理模块在通过网络发送所述至少一个数据段之后，再通过所述网络发送所述文件信息，

其中，所述文件信息包括所述文件的身份标识、目标文件路径、文件字节数和发送成功标识。

4.根据权利要求3所述的方法，还包括：

判断所还原的文件是否具有所述文件字节数，如果否，则确定所述接收操作出现异常。

5.根据权利要求3所述的方法，还包括：

判断所述至少一个数据段是否已被全部发送，如果否，则确定所述发送操作出现异常，并且在所述文件信息中删除所述发送成功标识或不发送所述文件信息。

6.根据权利要求1所述的方法，其中，所述通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息的步骤进一步包括：

所述第一大数据平台将所述文件信息和所述至少一个数据段传递至所述数据发送端中的发送代理模块；和

所述发送代理模块在通过网络发送所述文件信息之后，再通过所述网络发送所述至少一个数据段，

其中，所述文件信息包括所述文件的身份标识、目标文件路径和文件字节数。

7.根据权利要求6所述的方法，还包括：

判断所还原的文件是否具有所述文件字节数，如果否，则确定所述接收操作出现异常。

8.根据权利要求3或6所述的方法，其中，所述根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台的步骤进一步包括：

根据所述文件信息中的所述身份标识将所述至少一个数据段还原成所述文件；和

根据所述文件信息中的所述目标文件路径将所述文件写入所述第二大数据平台。

9.根据权利要求1所述的方法，还包括：

监听所述分布式消息队列，在所述分布式消息队列接收到与发送所述至少一个数据段相关的结束标识的情况下，确定已接收完成所述文件。