[发明专利]从多个交叠的源汇集高容量的时间数据

说明书

提供了一种技术，该技术包括：(1)接收数据元素，(2)将数据元素与待决更新历史存储库中相应数据元素进行比较，从而产生比较结果，该待决更新历史存储库包含数据元素随时间发生过的变更，(3)基于比较结果来确定数据元素已变更，(4)检查不存在正在运行的可能包含数据元素的更多最新数据的更新处理，(5)将数据元素与和特定时间范围相关联的截止编号进行关联，以及(6)更新下述存储库中的对应数据元素：(a)存储数据元素的当前值和数据元素的先前值的完整通用数据存储库，以及(b)存储用于指示下述内容的记录的增量数据存储库：(i)正在更新数据元素，以及(ii)截止编号。

相关申请的交叉引用

本申请要求于2015年3月20日提交的美国临时专利申请序列号62/135,982的优先权，该申请的内容通过引用并入本文。

技术领域

本公开内容涉及数据存储系统，更具体地，涉及用于从多个交叠的源汇集高容量的时间数据的系统。

背景技术

本章节中描述的方法是可以寻求的方法，但不一定是先前已经设想或寻求过的方法。因此，本章节中描述的方法可能不是针对本申请中的权利要求的现有技术，并且不认为该方法通过被包括在本章节中而成为现有技术。

数据库管理系统和数据仓库利用抽取(Extract)、转换(Transform)、加载(Load)(ETL)的各种实现方式来整合来自多个系统的数据。可以得到这些技术的批量和并行的实现方式，并且在学术和工业方面发表的高容量的论文和系统都集中在这一领域。然而，这些系统并不能解决下述困难的操作场景：需要从多个不同的源导入数据，这些源中的数据可能交叠，例如，多个源中的相同元素的相同字段的实例，该实例创建从可用的源中选择最佳源的要求，其中不能保证在每个操作处理窗口中所有的源都可用，并且更新的顺序不能预先确定。此外，无论更新数据的量或者完整通用数据的量如何，对所汇集的更新的访问都应该是快速且水平可伸缩的。在必要时实现涉及该数据量的服务级别协议需要完全自动化的直通处理系统，如果需要手动干预的话，则该系统只需最小的手动干预。

对挑战进行说明：业务环境要求对于客户来说每天都以得到经更新的数据。这是操作处理窗口，例如24小时。由于以下原因而提出了技术问题：(a)这些更新可能来自多个不同的源系统，存在有些数据与若干个源交叠的可能性，例如，company_a的sales_data被包括在source_l和source_3中，并且有时候被包括在source_4中，以及(b)在操作窗口期间来自若干个源的(多个)更新可能到达以在不同的时间进行处理，并且不是在每个操作窗口期间所有的源都可用。解决方案需要提供选择应该使用哪个版本的数据——例如company_a的sales_data——的方法，而不管是否所有的源(1、3和4)都可用，并且不管这些源可用的顺序如何。此外，无论正在处理的数据量如何，查询这些更新的系统不应该遭遇查询劣化。随着数据量的增加，查询劣化与查询速度变慢相关。

发明内容

提供了一种用于从多个交叠的源汇集高容量的时间数据的方法和系统，该方法和系统确保从操作处理窗口内的所有可用的源中使用最佳源，其中不能预先确定更新顺序，并且提供对所有所汇集的更新的快速访问。

该方法包括：(1)接收数据元素，(2)将数据元素与待决更新历史存储库中相应数据元素进行比较，从而产生比较结果，该待决更新历史存储库包含数据元素随时间发生过的变更，(3)基于比较结果来确定数据元素已变更，(4)检查不存在正在运行的可能包含数据元素的更多最新数据的更新处理，(5)将数据元素与和截止日志中的特定时间范围相关联的截止编号进行关联，以及(6)更新下述存储库中的对应数据元素：(a)存储数据元素的当前值和数据元素的先前值的完整通用数据存储库，以及(b)存储用于指示下述内容的记录的增量数据存储库：(i)正在更新数据元素，以及(ii)截止编号。

附图说明

图1是用于从多个交叠的源汇集高容量的时间数据的系统的框图。