[发明专利]面向数据开放共享的数据划分与组织方法

权利要求书

1.一种面向数据开放共享的数据划分与组织方法，其特征在于，包括以下步骤：

步骤1、建立数据划分的启发式准则，包括如下步骤：

步骤1.1、建立准则一：在指定的表中同时出现的数据对象，价值较高，划分为同一组；

步骤1.2、建立准则二：在准则一划分的基础上，同一数据对象出现的频率不同，价值不同，根据出现频率进行划分；

步骤2、在需求未知的情况下，利用原始数据中的表结构，穷举准则一中所述指定的表的候选集，包括如下步骤：

步骤2.1、使用数据库自带的DDL语句查询出原始数据库中包含的表结构信息，建立数据集结构图G；

步骤2.2、读取步骤2.1生成的数据集结构图G，定义如下几个概念：

概念1：中心表，数据集结构图G中出度大于等于1的节点作为中心表；

概念2：起始中心表，数据集结构图G中入度为0的节点为一个起始中心表；

概念3：扩展表，中心表指向的表称为扩展表，扩展表也可能是中心表；

步骤2.3、根据数据集结构图G，将原始数据库O从逻辑上划分为多个不同子集，包括以下步骤：

步骤2.3.1、从数据集结构图G的指定中心表CT开始，找出此指定中心表直接连接的所有扩展表，构成集合E，第一次执行此步骤时，指定中心表为起始中心表，并将起始中心表标记为‘+’；

步骤2.3.2、对集合E中每个扩展表进行标记，每个表标记为‘+’或‘-’，列出所有标记的可能情况，每种标记的组合用‘()’括起来，放于指定中心表CT之后；

步骤2.3.3、对于每一个标记组合，如果存在标记为‘+’且其后没有‘()’标记的中心表，则将此中心表作为指定中心表CT，重复步骤2.3.1；

步骤2.3.4、如果所有组合中都不存在还未被划分过的中心表，则横向划分完成；

步骤3、为每一种不同标记的组合新建一个数据库NewBase，数据库NewBase的数据表结构与原数据集相同；

步骤4、对基于准则一划分的数据，计算数据对象的出现次数，进一步进行划分，包括如下步骤：

步骤4.1、每个非中心表的扩展表中每条记录的出现次数记为1；

步骤4.2、计算中心表中每个数据对象的出现次数；

步骤5、根据中心表数据对象的出现次数，对数据集再次进行划分，包括以下步骤：

步骤5.1、将起始中心表中出现次数相近的数据划分到同一个子集；

步骤5.2、扩展表中的数据由预先定义的SQL模版确定；

步骤6、根据不同查询语句query或分析需求，选择相应的数据，使得提供一个较小的数据集便能完成需要的查询分析，包括两类：

类型一、解析查询语句query，找出查询语句query中需要同时用到的表的集合，选取步骤3生成的数据库NewBase中对这些表的标记同时为‘+’的划分，如果查询语句query对某个表是否定查询，则选择标记为‘-’的划分，求取并集；

类型二、如果是与次数相关的分析需求，则首先根据类型一找出覆盖查询分析的数据集，同时根据需求中的次数相关值选取步骤5生成的划分中对应的数据子集。

2.如权利要求1所述的一种面向数据开放共享的数据划分与组织方法，其特征在于，所述步骤2.1包括：

步骤2.1.1、连接数据库，获取数据库中所有数据表的名称以及主外键约束信息；

步骤2.1.2、根据数据表之间的主外键约束信息，构建数据表与数据表之间的外键引用关系结构图，即所述数据集结构图G，将每个数据表作为一个结点，生成数据集结构图G中的结点集合，为相互之间含有外键引用关系的数据表所表示的结点之间添加连接边，连接边箭头从外键被引用表指向引用表。

3.如权利要求1所述的一种面向数据开放共享的数据划分与组织方法，其特征在于，在所述步骤3中，数据库NewBase中每个数据表中的数据由以下步骤生成：

步骤3.1、当前数据库NewBase中起始中心表中的数据由预先定义的SQL模版在原始数据库O中查询得出；

步骤3.2、按照所述数据集结构图G的顺序从上往下依次填充每个扩展表中的数据。

4.如权利要求1所述的一种面向数据开放共享的数据划分与组织方法，其特征在于，所述步骤4.2包括：

步骤4.2.1、对于中心表中的一条记录r，记录r的主键记为r.a，统计主键r.a在每个扩展表中出现的次数；

步骤4.2.2、中心表中数据对象的出现次数等于其在各扩展表中出现次数值的最小值。