[发明专利]用于发送大数据集的高级重试机制

权利要求书

1.一种用于从源数据存储库发送数据的方法，包括：

接收多个数据块，其中所述多个数据块以第一格式和固定大小被接收；

对所述多个数据块中的每个数据块执行至少一个修改操作，所述至少一个修改操作包括将所述第一格式转换为与目的地数据存储库兼容的第二格式；

执行将经修改的所述数据块传输到所述目的地数据存储库的第一尝试；

确定经修改的所述数据块中的至少一个数据块未能传输到所述目的地数据存储库；

将至少一个失败的数据块存储在失败的块重试数据存储库中；

对所述至少一个失败的数据块执行所述至少一个修改操作；以及

执行将所述至少一个失败的数据块传输到所述目的地数据存储库的第二尝试。

2.根据权利要求1所述的方法，还包括：确定用于所述目的地数据存储库的所述第二格式的模式。

3.根据权利要求2所述的方法，其中所述至少一个修改操作包括修改所述多个数据块中的每个数据块的格式以符合用于所述目的地数据存储库的所述第二格式。

4.根据权利要求1所述的方法，其中确定经修改的所述数据块中的至少一个数据块未能传输到所述目的地数据存储库包括：接收被包含在经修改的所述数据块中的单个记录未能传输的指示。

5.根据权利要求1所述的方法，其中确定经修改的所述数据块中的至少一个数据块未能传输到所述目的地数据存储库包括接收经修改的所述数据块中的至少一个数据块受以下中的至少一项影响的指示：网络天气、所述目的地数据存储库处于故障状态、以及所述目的地数据存储库处于更新状态。

6.根据权利要求1所述的方法，还包括：

响应于确定经修改的所述数据块中的至少一个数据块未能传输到所述目的地数据存储库，对所述至少一个失败的数据块加密以用于存储在所述失败的块重试数据存储库中。

7.根据权利要求1所述的方法，还包括：

响应于对所述至少一个失败的数据块执行所述至少一个修改操作，对所述至少一个失败的数据块加密以用于传输到所述目的地数据存储库。

8.根据权利要求1所述的方法，还包括：

基于到所述目的地数据存储库的传输尝试的数目，确定所述至少一个失败的数据块是否已经超过回退重试尝试阈值；以及

响应于确定所述至少一个失败的数据块已经超过所述回退重试尝试阈值，将所述至少一个失败的数据块传输到永久失败容器。

9.根据权利要求8所述的方法，其中传输所述至少一个失败的数据块的每一个后续尝试基于线性时间标尺而被线性缩放。

10.根据权利要求8所述的方法，其中传输所述至少一个失败的数据块的每一个后续尝试在时间上被指数缩放。

11.根据权利要求8所述的方法，其中多个映射引擎被指派用于向所述目的地数据存储库传输所述多个数据块，所述多个映射引擎中的每个映射引擎被指派用于所述多个数据块中的单独数据块的传输。

12.根据权利要求11所述的方法，还包括：

响应于确定经修改的所述数据块中的至少一个数据块未能传输到所述目的地数据存储库，将元数据与所述至少一个失败的数据块相关联，所述元数据指示所述多个映射引擎中的哪一映射引擎被指派给所述至少一个失败的数据块。

13.根据权利要求1所述的方法，其中所述失败的块重试数据存储库是所述源数据存储库。

14.根据权利要求1所述的方法，其中所述第一格式对应于结构化格式，并且所述第二格式对应于非结构化格式或半结构化格式中的至少一项。