[发明专利]用于在跨网络的大数据平台之间转移文件的方法和系统

说明书

本发明提供一种用于在跨网络的大数据平台之间转移文件的方法，包括：从第一大数据平台提取所述文件；生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段；通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息；通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列；以及根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台。

技术领域

本发明涉及大数据领域，尤其涉及一种跨大数据平台的转移文件的方法和系统。

背景技术

在应用大数据技术的场景中，存在将大量文件从一个大数据平台转移到另一个大数据平台的需求。在本文中，术语“文件”指非结构化数据。本领域中，非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，且不方便用数据库二维逻辑表来表现的数据。非结构化数据包括具有各种格式的办公文档(例如，文本、图片、XML,、HTML、报表、图像和音频/视频等)以及具有不同压缩格式的数据(例如，文本、parquet、RCFile、OrcFile等)。

针对上述需求，现有的方案包括拷贝文件(例如借助FTP的方式)或将文件进行解析后再通过开源组件传输。拷贝文件的方案需要同时占用发送端和接收端的资源，导致难以实现一对多或多对一的文件转移；而将文件进行解析后再通过开源组件传输的方案需要占用大量的计算资源，并且针对不通格式的文件需要使用不同的组件，无法做到自适应。

发明内容

本发明的一个方面公开了一种用于在跨网络的大数据平台之间转移文件的方法，包括：从第一大数据平台提取所述文件；生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段；通过数据发送端、经由所述网络发送所述至少一个数据段和所述文件信息；通过数据接收端、经由所述网络接收所述至少一个数据段和所述文件信息，并将所述至少一个数据段和所述文件信息写入分布式消息队列；以及根据所述分布式消息队列中的所述文件信息解析所述分布式消息队列中的所述至少一个数据段，将所述至少一个数据段还原成所述文件，并将所述文件写入第二大数据平台。

本发明的另一个方面公开了一种用于在跨网络的大数据平台之间转移文件的系统，包括：数据发送端，其用于从第一大数据平台提取所述文件，生成与所述文件对应的文件信息并将所述文件划分成具有预定长度的至少一个数据段，并且通过网络发送所述至少一个数据段和所述文件信息；以及数据接收端，其用于通过所述网络接收所述至少一个数据段和所述文件信息，将所述至少一个数据段和所述文件信息写入分布式消息队列，并且根据所述分布式消息队列中的所述文件信息解析所述至少一个数据段，以便将所述至少一个数据段还原成所述文件，从而将所述文件写入第二大数据平台。

本发明的又一个方面提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令被计算机执行时能够执行根据本发明的实施例所述的方法

本发明的实施例能够实现文件的异步转移，即可以在原大数据平台空闲的时候进行发送，目标大数据平台在空闲的时候再接收，不会同时占用两个数据平台的计算资源，从而节省了计算资源。

由于本发明的实施例能够传输字节形式的数据，因此不管是压缩文件、图片文件、或是大数据专有格式文件都可以发送，不需要额外开发用于转移不同文件的不同组件，从而实现文件转移的自适应。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：