[发明专利]使用源跟踪剖析数据

说明书

剖析数据包括访问多个记录集合以为每个特定集合存储量化信息，包括：对于特定集合中记录的至少一个选定字段，值计数条目的相应清单(300A‑300C)，每个包括出现在所述选定字段中的值以及其中该值所出现的记录数的计数。处理两个或更多个所述集合的所述量化信息包括：对于来自第一集合和第二集合的每个的至少一个字段，将相应清单的所述值计数条目合并(302)以产生值计数条目组合清单(304)，并且将所述值计数条目组合清单的值计数条目聚合(306)，以产生特异字段值条目的清单(308)，其识别一特异值并且包括对所述两个或更多个集合的每个中该特异值出现的记录数加以量化的信息。

本申请是申请号为201380055099.9(对应于PCT国际申请号PCT/US2013/053351)、发明名称为“使用源跟踪剖析数据”、申请日为2013年8月2日的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求享有2012年10月22日提交的美国申请号61/716,766的优先权，该申请通过引用合并于此。

背景技术

本申请涉及使用源跟踪(source tracking)剖析数据。

存储的数据集常常包括各种特性未知的数据。例如，对于数据集的值范围或典型值，数据集内不同字段之间的关系、或者不同字段的值之间的相关性可能是未知的。数据剖析(data profiling)可能涉及检查数据集的源以便确定这种特性。

发明内容

在一个方案中，通常，一种用于剖析存储在数据存储系统中的数据，所述方法包括：通过耦合至所述数据存储系统的接口来访问存储在所述数据存储系统中的多个记录集合，来为所述多个记录集合的每个存储量化信息，对于特定集合中所述记录的至少一个选定字段而言，每个所述特定集合的所述量化信息包括值计数条目的相应清单，每个值计数条目包括出现在所述选定字段中的值以及所述值出现在所述选定字段中的记录数的计数；以及处理两个或更多个所述集合的所述量化信息以产生剖析总结信息。所述处理包括：对于来自所述两个或更多个集合的至少第一集合和第二集合的每个的至少一个字段，将相应清单的所述值计数条目合并以产生值计数条目组合清单，以及将所述值计数条目组合清单的值计数条目聚合，以产生特异字段值条目的清单，所述特异字段值条目的至少一些从所述值计数条目的至少一个中识别出特异值并且包括对所述两个或更多个集合的每个中所述特异值出现的记录数加以量化的信息。

这些方案可包括一个或多个以下特征。

将所述相应清单的所述值计数条目合并包括基于来自所述值计数条目的值来将所述值计数条目排序。

将所述值计数条目排序包括基于来自所述值计数条目的所述值根据初级排序次序来排序，以及基于所述两个或更多个集合的标识符根据次级排序次序来排序。

处理两个或更多个所述集合的所述量化信息包括处理三个或更多个所述集合的所述量化信息。

所述方法还包括，对于所述三个或更多个集合中至少两个集合的第一子集，根据所述特异字段值条目清单产生剖析总结信息，所述剖析总结信息包括所述第一子集中各个记录集合的所述字段之间联合运算的多个模式的结果。

所述方法还包括，对于所述三个或更多个集合中至少两个集合的不同于所述第一子集的第二子集，根据所述特异字段值条目清单产生剖析总结信息，所述剖析总结信息包括所述第二子集中各个记录集合的所述字段之间联合运算的多个模式的结果。

对应于特定集合的值计数条目清单中的每个值计数条目还包括识别所述值出现在所述选定字段中的所述特定记录集合内各个位置的位置信息。