[发明专利]用于发送大数据集的高级重试机制

说明书

在本公开的非限制性示例中，提出了用于向目的地数据存储库发送源数据存储库中所存储的数据的系统、方法、和设备。多个数据块可以以第一格式被接收。可以对每个数据块执行至少一个插入或更新操作，用于将第一格式转换为与目的地数据存储模式兼容的格式。可以执行经插入或更新的数据块到目的地数据存储库的传输。可以做出至少一个经插入或更新的数据块未能传输到目的地数据存储库的确定。可以将失败的数据块存储在失败的块重试数据存储库中。可以对失败的数据块重复执行至少一个插入或更新操作，并且可以重新执行失败的数据块到目的地数据存储库的传输。

背景技术

由数据提供商(例如，电信资源提供商)进行的大数据收集，例如，呼叫记录数据收集总体是通过存储编译记录(例如，呼叫记录)大数据集实现的。通常存储各个记录及其代表性数据集，而在不考虑它们的下游使用和对于数据提供商和数据的下游存取器对这样的数据进行处理时有用的各种模式。为了将这样的数据集转换并存储为有用信息，对原始存储的数据执行各种数据重新格式化操作是有帮助的。重新格式化、传输、以及存储数据集的过程经常产生错误，这些错误会导致记录的不完全传输和/或完全数据传输失败。

关于该总体技术环境，已经考虑了本文所公开的技术方面。另外，尽管已经讨论了总体环境，但是应当理解的是，本文所描述的示例不应当限于背景技术中所标识的总体环境。

发明内容

提供本发明内容以通过简化形式介绍一些概念，这些概念将在下面的具体实施方式部分被进一步描述。本发明内容不旨在标识请求保护的主题的关键特征或重要特征，也不旨在用作帮助确定请求保护的主题的范围。示例的附加方面、特征、和/或优点将部分地在下面的描述中阐述，并且部分地从描述显而易见，或通过实施本公开的实践习得。

本公开的非限制性示例描述了用于从源数据存储库发送数据的系统、方法、和设备，包括：接收多个数据块，该多个数据块以第一格式被接收；对多个数据块中的每个数据块执行至少一个插入或更新(upsert)操作，该至少一个插入或更新操作包括将第一格式转换为与目的地数据存储库兼容的模式；执行经插入或更新的数据块到目的地数据存储库的传输；确定经插入或更新的数据块中的至少一个数据块未能传输到目的地数据存储库；将至少一个失败的数据块存储在失败的块重试数据存储库中；对至少一个失败的数据块重新执行至少一个插入或更新操作；以及重新执行至少一个失败的数据块到目的地数据存储库的传输。

附图说明

参考以下附图描述非限制性和非穷尽性示例。

图1是示出提供用于大数据集传输的高级重试机制的示例分布式计算环境的示意图。

图2是示出利用回退重试方案的示例性失败的数据传输重试机制的示意图。

图3A和3B示出了用于实现从源数据存储库向目的地数据存储库的大数据集传输的高级重试机制的示例性方法300A和300B。

图4示出了用于执行本公开的一个或多个方面的计算设备。

图5是可以实践本公开的方面的计算设备的简化框图。

图6是示出可以实践本公开的方面的计算设备100的物理组件(例如，硬件)的框图。

图7是示出提供用于大数据集传输的高级重试机制的示例分布式计算环境的示意图。

具体实施方式

将参考附图详细描述各种实施例，其中贯穿若干视图相似的参考标号表示相似的部件和装配。对各种实施例的引用不限制所附权利要求的范围。另外，说明书中所阐述的任意示例不旨在用于限制，而是仅仅阐述所附权利要求的很多可能实施例中的一些实施例。

以上描述的各种实施例和示例通过图示提供，并且不应当被理解为限制所附权利要求。本领域技术人员将很容易认识到，在不遵循本文所示出和描述的示例实施例和应用并且不偏离权利要求的真正精神和范围的条件下可以做出各种修改和改变。