[发明专利]一种非实时数据传递方法

说明书

本发明涉及一种非实时数据传递方法。该方法包括：接收订单信息，订单信息包括源数仓地址、目标数仓地址和数据文件信息，源数仓地址指向源数仓；根据源数仓各个存储介质安装位的存储介质的可用情况和目标数仓地址，确定目标存储介质，目标存储介质满足数据文件信息的需求；将数据文件信息指示的数据同步到目标存储介质，并将目标存储介质运输到目标数仓地址。通过本发明提供的方案，从技术上实现几乎无限带宽、数仓机架存储介质安装位到数仓机架存储介质安装位、跨省跨国、城乡全覆盖、分级分类、安全高效的非实时海量数据交换传递。

技术领域

本发明涉及数据传输技术，尤其涉及一种非实时数据传递方法。

背景技术

从国家治理的角度，需要汇集各地方各部门各类经营过程数据，之后在国家平台、部委平台进行大数据事后分析，发现问题线索，向各级政府部门和企业提供数据产品服务。行业管理很多情况下并不需要实时数据远距离传递的支持，代价太高，也没有实质性作用。目前国家各行业各地方政务大数据中心基本上都存在一系列问题，包括能耗过高、利用率低等问题，这些问题和数据传递效率低也有直接关系。非实时海量数据跨省跨国跨星全域、接近无限容量、安全高效传递出入各类数据中心数据仓库的问题急需解决。

发明内容

本发明的目的在于解决非实时海量数据安全高效传递出入各类数据中心数据仓库的问题。

为解决上述问题，本发明实施例提供了一种非实时数据传递方法，包括：

接收订单信息，所述订单信息包括源数仓地址、目标数仓地址和数据文件信息，所述源数仓地址指向源数仓；

根据所述源数仓各个存储介质安装位的存储介质的可用情况和目标数仓地址，确定目标存储介质，所述目标存储介质满足所述数据文件信息的需求；

将所述数据文件信息指示的数据同步到所述目标存储介质，并将所述目标存储介质运输到目标数仓地址。

可选的，根据所述源数仓各个存储介质安装位的存储介质的可用情况，确定目标存储介质，包括：

遍历所述源数仓各个存储介质安装位的存储介质关联的地址信息；

根据所述地址信息判断是否存在地址信息与所述目标数仓地址相同的同目的地存储介质；

若存在所述同目的地存储介质，则判断能否根据数据文件信息和可用情况从所述同目的地存储介质中确定目标存储介质；

若可以从所述同目的地存储介质中确定目标存储介质，则从所述同目的地存储介质中确定目标存储介质；

若无法从所述同目的地存储介质中确定目标存储介质，则从所述源数仓中初始化一个新的存储介质挂载作为目标存储介质，所述新的存储介质的存储空间未被占用。

可选的，所述若可以从所述同目的地存储介质中确定目标存储介质，则从所述同目的地存储介质中确定目标存储介质之后，还包括：

确定所述目标存储介质对应的订单信息，所述订单信息包括订单号；

以所述运单号为名称建立运单目录；

将每个订单信息对应的数据对应的存储在所述运单目录下。

可选的，还包括：

若不存在所述同目的地存储介质，则从所述源数仓中初始化一个新的存储介质挂载作为目标存储介质。

可选的，所述判断能否根据数据文件信息和可用情况从所述同目的地存储介质中确定目标存储介质，包括：

从数据文件信息中确定运送安全条件、运送时限条件和数据大小；

判断所述同目的地存储介质中是否有符合所述运送安全条件和运送时限条件的预选存储介质；