[发明专利]处理相关数据集

说明书

对于相关申请的交叉引用

本发明要求通过引用包含的、在2010年6月22日提交的美国申请第61/357,376号的优先权。

技术领域

本发明涉及处理相关数据集。

背景技术

数据集是例如在任何数量的物理存储介质上容纳的数据存储系统中存储（例如，在一个或多个服务器上容纳的数据库中存储）的数据的集合。可以例如通过诸如文件或其他形式的对象（例如，在面向对象的数据库中存储的对象）的实体来描述数据集的诸如其结构和存储位置的属性。在一些情况下，用于描述特定数据集的实体（例如，文件）也存储在那个数据集中的数据。在一些情况下，用于描述特定数据集的实体（例如，指向数据库表格的对象）不必然存储在那个数据集中的所有数据，而是可以用于定位在数据存储系统中的一个或多个位置中存储的数据。

可以使用多种结构的任何一种来组织在数据集中的数据，该多种结构包括向单独的记录提供用于相应字段的值（也称为“属性”或“列”）的记录结构，该值可能包括空值（例如，指示字段是空的）。例如，该记录可以对应于在数据库系统的数据库表格中的行或在电子表格或其他平面文件中的行。为了访问以给定格式存储的记录，数据处理系统通常以某种初始格式信息馈送，该某种初始格式信息描述特性，诸如字段的名称、在记录中的字段的顺序、表示字段值的比特的数量、字段之后的类型（例如，字符串、带符号/不带符号的整数）。在一些情况下，可能初始不知道或可以在数据的分析后确定数据集的记录格式或其他结构信息。

数据集可以以多种方式的任何一种彼此相关。例如，与在数据库中的第一表格对应的第一数据集可以包括与在数据库中的第二表格的字段具有主密钥（key）/外密钥关系的字段。在第一表格中的主密钥字段可以包括唯一地识别在第一表格中的行的值（例如，用于唯一地识别与不同的客户对应的行的客户ID值），并且包含与在第一表格中的主密钥字段对应的外密钥字段的在第二表格中的行（例如，与由给定客户进行的交易对应的行）可以使用那些唯一值之一来识别表示由给定客户进行的交易的在第二表格中的一个或多个行的每一个。在多个数据集之间保留引用完整性可以包括保留在不同的字段之间的关系，包括外密钥/主密钥关系或在一个数据集中的字段中的值取决于另一个数据集的字段中的值的其他关系。

发明内容

在一个方面，通常，一种用于处理相关数据集的方法包括：通过输入装置或端口接收来自多个数据集的给定数据集的记录，所述给定数据集的记录具有用于一个或多个相应字段的一个或多个值；并且，在数据处理系统中处理来自所述多个数据集的每一个的记录。所述处理包括：分析在数据存储系统中存储的至少一个约束规范，以确定对于所述多个数据集的处理顺序，所述约束规范指定用于保留在包括所述多个数据集的一组相关数据集之间的引用完整性或统计一致性的一个或多个约束；以所述确定的处理顺序向来自所述多个数据集的每一个的记录应用一个或多个变换，其中，在向来自所述多个数据集的第二数据集的记录应用所述变换之前，向来自所述多个数据集的第一数据集的记录应用所述变换，并且至少部分地基于向来自所述第一数据集的所述记录应用所述变换的结果和由所述约束规范指定的在所述第一数据集和所述第二数据集之间的至少一个约束来应用向来自所述第二数据集的所述记录应用的所述变换；以及，存储或输出对于来自所述多个数据集的每一个的所述记录的所述变换的结果。

方面可以包括下面的特征的一个或多个。

用于保留由所述约束规范指定的引用完整性的至少一个约束基于用于所述第二数据集的字段的值对于用于所述第一数据集的字段的值的依赖。

所述第一数据集的所述字段是主密钥，并且所述第二数据集的所述字段是引用所述主密钥的外密钥。

所述约束规范包括在所述第二数据集的所述字段和所述第一数据集的所述字段之间的外密钥与主密钥关系的表示。

确定用于所述多个数据集的所述处理顺序包括：确定所述第一数据集以基于用于所述第二数据集的字段的值对于用于所述第一数据集的字段的值的依赖的处理顺序来在所述第二数据集之前出现。

在所述变换被应用到来自所述第二数据集的记录之前，并且在所述变换被应用到来自所述第一数据集的记录之后，向来自第三数据集的记录应用所述变换。

用于保留由所述约束规范指定的统计一致性的至少一个约束基于在所述第二数据集的字段和所述第一数据集的字段之间的等同。

所述第一数据集的所述字段和所述第二数据集的所述字段是在结合操作中的密钥。

所述约束规范包括所述结合操作的表示。