[发明专利]数据迁移的发送方法及装置、存储介质、电子装置

说明书

本发明提供了一种数据迁移的发送方法及装置、存储介质、电子装置，其中，上述方法包括：获取在线存储平台发送的待迁移到大数据平台的迁移数据，其中，所述迁移数据包括：非结构化的迁移数据；从虚拟文件系统中确定数据迁移方式，并根据所述数据迁移方式将所述迁移数据迁移到所述大数据平台。采用上述技术方案，解决相关技术中在迁移数据时必须针对每一个文件设置对应的配置文件的问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种数据迁移的发送方法及装置、存储介质、电子装置。

背景技术

随着信息技术的高速发展，整个社会步入数据化时代，数据成为了各企业最重要的资产。海量数据的涌入，对传统存储带来了巨大的挑战，企业也需要建立一套高可靠、高扩展的存储系统。现有的数据迁移工具较多，以Flume为例，Flume是一个分布式、可靠的日志聚合的系统，它可以在系统中定制各种类型的数据发送方，将数据收集到一个节点上，但是每个数据源只能有一个文件，需要针对每一个文件设置对应的配置文件。

针对相关技术中，在迁移数据时必须针对每一个文件设置对应的配置文件，进而导致数据迁移过程的流程复杂等问题，尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据迁移的发送方法及装置、存储介质、电子装置，以解决在迁移数据时必须针对每一个文件设置对应的配置文件，进而导致数据迁移过程的流程复杂等的问题。

根据本发明的一个实施例，提供了一种数据迁移的发送方法，包括：获取在线存储平台发送的待迁移到大数据平台的迁移数据，其中，所述迁移数据包括：非结构化的迁移数据；从虚拟文件系统中确定数据迁移方式，并根据所述数据迁移方式将所述迁移数据迁移到所述大数据平台。

根据本发明的一个实施例，提供了一种数据迁移的发送方法，包括：获取在线存储平台发送的待迁移到大数据平台的迁移数据，其中，所述迁移数据包括：非结构化的迁移数据；从虚拟文件系统中确定数据迁移方式，并根据所述数据迁移方式将所述迁移数据迁移到所述大数据平台。

可选的，根据所述数据迁移方式将所述迁移数据迁移到所述大数据平台，包括：在从所述虚拟文件系统中确定的所述数据迁移方式为文件映射方式的情况下，将所述迁移数据按照所述文件映射方式映射到所述大数据平台；在从所述虚拟文件系统中确定的所述数据迁移方式为管道流传输方式的情况下，将所述迁移数据按照所述管道流传输方式传输到目标存储位置，并在所述目标存储位置上，将所述迁移数据迁移到所述大数据平台。

可选的，从虚拟文件系统中确定数据迁移方式，包括：获取所述迁移数据的源地址的目标格式，其中，不同的源地址用于指示不同的在线存储平台；根据所述目标格式确定所述迁移数据对应的所述虚拟文件系统，以从所述虚拟文件系统中确定数据迁移方式。

可选的，根据所述数据迁移方式将所述迁移数据迁移到所述大数据平台，包括：将所述迁移数据转换为所述虚拟文件系统对应的文件对象，其中，不同的文件对象对应不同的虚拟文件系统；根据所述数据迁移方式将所述文件对象迁移到所述大数据平台。

可选的，所述方法还包括：获取所述迁移数据的源地址和目的地址，其中，所述目的地址用于指示所述迁移数据待迁移到所述大数据平台的位置；对所述源地址和所述目的地址进行验证，在验证通过的情况下，从所述虚拟文件系统中确定数据迁移方式，并根据所述数据迁移方式将所述迁移数据迁移到所述大数据平台。

可选的，获取在线存储平台发送的待迁移到大数据平台的迁移数据，包括：确定所述在线存储平台发送的目标数据的数据类型；在所述数据类型为文件的情况下，将所述目标数据作为所述迁移数据；在所述目标类型为目录的情况下，从所述目标数据所指示的目录中获取所述迁移数据。

可选的，在所述迁移数据还包括：结构化数据的情况下，所述方法还包括：从预先设置的源地址所指示的存储位置获取待迁移的结构化数据；将所述结构化数据生成Map对象；将所述Map对象迁移到所述大数据平台，以实现将所述结构化数据迁移到所述大数据平台。