[发明专利]面向数据开放共享的数据划分与组织方法

摘要

本发明提供了一种面向数据开放共享的数据划分与组织方法。本发明提供了一种在面向大数据的数据开放共享应用中通过分析数据分布的广度和深度模式，估计数据分布模式满足不同应用需求的价值关系，以此为基础对原始数据划分，生成新的用于共享的数据库逻辑表结构。本发明的特点在于：1、从用户的需求出发，进行数据重组和划分，生成面向数据使用者的数据库逻辑模式，从而更加友好的支持可变的上层应用需求；2、分析数据分布的广度和深度模式，按照不同模式进行数据划分，按需向用户分配所需的数据，对原始数据进行过滤精简，能极大地提高用户的查询分析性能。

主权项

一种面向数据开放共享的数据划分与组织方法，其特征在于，包括以下步骤：步骤1、建立数据划分的启发式准则，包括如下步骤：步骤1.1、建立准则一：在指定的表中同时出现的数据对象，价值较高，划分为同一组。步骤1.2、建立准则二：在准则一划分的基础上，同一数据对象出现的频率不同，价值不同，根据出现频率进行划分；步骤2、在需求未知的情况下，利用原始数据中的表结构，穷举准则一中所述指定的表的候选集，包括如下步骤：步骤2.1、使用数据库自带的DDL语句查询出原始数据库中包含的表结构信息，建立数据集结构图G；步骤2.2、读取步骤2.1生成的数据集结构图G，定义如下几个概念：概念1：中心表，数据集结构图G中出度大于等于1的节点作为中心表；概念2：起始中心表，数据集结构图G中入度为0的节点为一个起始中心表；概念3：扩展表，中心表指向的表称为扩展表，扩展表也可能是中心表；步骤2.3、根据数据集结构图G，将原始数据库O从逻辑上划分为多个不同子集，包括以下步骤：步骤2.3.1、从数据集结构图G的指定中心表CT开始，找出此指定中心表直接连接的所有扩展表，构成集合E，第一次执行此步骤时，指定中心表为起始中心表，并将起始中心表标记为‘+’；步骤2.3.2、对集合E中每个扩展表进行标记，每个表标记为‘+’或‘‑’，列出所有标记的可能情况，每种标记的组合用‘()’括起来，放于指定中心表CT之后；步骤2.3.3、对于每一个标记组合，如果存在标记为‘+’且其后没有‘()’标记的中心表，则将此中心表作为指定中心表CT，重复步骤2.3.1；步骤2.3.4、如果所有组合中都不存在还未被划分过的中心表，则横向划分完成；步骤3、为每一种不同标记的组合新建一个数据库NewBase，数据库NewBase的数据表结构与原数据集相同；步骤4、对基于准则一划分的数据，计算数据对象的出现次数，进一步进行划分，包括如下步骤：步骤4.1、每个非中心表的扩展表中每条记录的出现次数记为1；步骤4.2、计算中心表中每个数据对象的出现次数；步骤5、根据中心表数据对象的出现次数，对数据集再次进行划分，包括以下步骤：步骤5.1、将起始中心表中出现次数相近的数据划分到同一个子集；步骤5.2、扩展表中的数据由预先定义的SQL模版确定。步骤6、根据不同查询语句query或分析需求，选择相应的数据，使得提供一个较小的数据集便能完成需要的查询分析，包括两类：类型一、解析查询语句query，找出查询语句query中需要同时用到的表的集合，选取步骤3生成的数据库NewBase中对这些表的标记同时为‘+’的划分，如果查询语句query对某个表是否定查询，则选择标记为‘‑’的划分，求取并集；类型二、如果是与次数相关的分析需求，则首先根据类型一找出覆盖查询分析的数据集，同时根据需求中的次数相关值选取步骤5生成的划分中对应的数据子集。