[发明专利]处理相关数据集

权利要求书

1.一种用于处理相关数据集的方法，所述方法包括：

通过输入装置或端口接收来自多个数据集的给定数据集的记录，所述给定数据集的记录具有用于一个或多个相应字段的一个或多个值；并且，

在数据处理系统中处理来自所述多个数据集的每一个的记录，所述处理包括：

分析在数据存储系统中存储的至少一个约束规范，以确定对于所述多个数据集的处理顺序，所述约束规范指定用于保留在包括所述多个数据集的一组相关数据集之间的引用完整性或统计一致性的一个或多个约束；

以所述确定的处理顺序向来自所述多个数据集的每一个的记录应用一个或多个变换，其中，在向来自所述多个数据集的第二数据集的记录应用所述变换之前，向来自所述多个数据集的第一数据集的记录应用所述变换，并且至少部分地基于向来自所述第一数据集的所述记录应用所述变换的结果和由所述约束规范指定的在所述第一数据集和所述第二数据集之间的至少一个约束来应用向来自所述第二数据集的所述记录应用的所述变换；以及，

存储或输出对于来自所述多个数据集的每一个的所述记录的所述变换的结果。

2.根据权利要求1所述的方法，其中，用于保留由所述约束规范指定的引用完整性的至少一个约束基于用于所述第二数据集的字段的值对于用于所述第一数据集的字段的值的依赖。

3.根据权利要求2所述的方法，其中，所述第一数据集的所述字段是主密钥，并且所述第二数据集的所述字段是引用所述主密钥的外密钥。

4.根据权利要求3所述的方法，其中，所述约束规范包括在所述第二数据集的所述字段和所述第一数据集的所述字段之间的外密钥与主密钥关系的表示。

5.根据权利要求2所述的方法，其中，确定用于所述多个数据集的所述处理顺序包括：确定基于用于所述第二数据集的字段的值对于用于所述第一数据集的字段的值的依赖、按照处理顺序，在所述第二数据集之前出现所述第一数据集。

6.根据权利要求1所述的方法，其中，在所述变换被应用到来自所述第二数据集的记录之前，并且在所述变换被应用到来自所述第一数据集的记录之后，向来自多个数据集的第三数据集的记录应用所述变换。

7.根据权利要求1所述的方法，其中，用于保留由所述约束规范指定的统计一致性的至少一个约束基于在所述第二数据集的字段和所述第一数据集的字段之间的等同。

8.根据权利要求7所述的方法，其中，所述第一数据集的所述字段和所述第二数据集的所述字段是在结合操作中的密钥。

9.根据权利要求8所述的方法，其中，所述约束规范包括所述结合操作的表示。

10.根据权利要求1所述的方法，进一步包括：剖析在所述一组相关数据集中的所述数据集以确定与多个字段相关联的统计，所述多个字段包括所述第一数据集的至少一个字段和由所述约束规范指示为相等于所述第一数据集的所述字段的所述第二数据集的至少一个字段。

11.根据权利要求10所述的方法，其中，根据所述确定的统计和向来自所述第一数据集的所述记录应用所述变换的所述结果，至少部分地基于保留在所述第一数据集的所述字段中的值的分布和在所述第二数据集的所述字段中的值的分布之间的统计一致性来应用向来自所述第二数据集的所述记录应用的所述一个或多个变换。

12.根据权利要求1所述的方法，其中，通过至少一个数据流图形来应用所述一个或多个变换，所述至少一个数据流图形包括节点，所述节点表示通过用于表示在数据处理部件之间的记录的流的链路连接的数据处理部件，被应用所述变换的每一个数据集向所述数据流图形提供记录的输入流。

13.根据权利要求12所述的方法，其中，使用所述多个数据集的相应的一个来以多个迭代连续地执行所述数据流图形，以便以用于所述多个数据集的所述确定的处理顺序来提供记录的输入流。

14.根据权利要求1所述的方法，其中，被应用到给定数据集的记录的所述一个或多个变换包括子集变换，所述子集变换基于在所述给定数据集的至少一个字段中的值来减少在所述给定数据集中的记录的数量。

15.根据权利要求1所述的方法，其中，向给定数据集的记录应用的所述一个或多个变换包括修改变换，所述修改变换修改在所述数据集的至少一个字段中的值。