[发明专利]面向数据开放共享的数据划分与组织方法

说明书

本发明提供了一种面向数据开放共享的数据划分与组织方法。本发明提供了一种在面向大数据的数据开放共享应用中通过分析数据分布的广度和深度模式，估计数据分布模式满足不同应用需求的价值关系，以此为基础对原始数据划分，生成新的用于共享的数据库逻辑表结构。本发明的特点在于：1、从用户的需求出发，进行数据重组和划分，生成面向数据使用者的数据库逻辑模式，从而更加友好的支持可变的上层应用需求；2、分析数据分布的广度和深度模式，按照不同模式进行数据划分，按需向用户分配所需的数据，对原始数据进行过滤精简，能极大地提高用户的查询分析性能。

技术领域

本发明涉及一种面向大数据开放共享的数据划分与组织方法。

背景技术

数据开放共享是挖掘大数据深层价值的基础。在数据开放环境中，首先应建立用户友好的数据逻辑组织。

对于传统OLTP应用，数据库设计由应用驱动，首先进行概念模型设计，进而进行逻辑表组织和数据表创建。支持OLAP的多维数据模型，一般也是建立在多维分析需求已知的前提下。上述由需求驱动的模式保证了数据逻辑组织与应用需求的一致性。然而，在数据开放共享环境下，数据使用者和数据提供者相分离，其使用任务存在较大的不可预知性和可变性。与此同时，庞大的开放数据规模也为数据使用者高效的使用数据带来一定的挑战。

发明内容

本发明的目的是：对开放大数据进行合理的数据划分，按需覆盖、满足可变的外部应用。

为了达到上述目的，本发明的技术方案是提供了一种面向数据开放共享的数据划分与组织方法，其特征在于，包括以下步骤：

步骤1、建立数据划分的启发式准则，包括如下步骤：

步骤1.1、建立准则一：在指定的表中同时出现的数据对象，价值较高，划分为同一组。

步骤1.2、建立准则二：在准则一划分的基础上，同一数据对象出现的频率不同，价值不同，根据出现频率进行划分；

步骤2、在需求未知的情况下，利用原始数据中的表结构，穷举准则一中所述指定的表的候选集，包括如下步骤：

步骤2.1、使用数据库自带的DDL语句查询出原始数据库中包含的表结构信息，建立数据集结构图G；

步骤2.2、读取步骤2.1生成的数据集结构图G，定义如下几个概念：

概念1：中心表，数据集结构图G中出度大于等于1的节点作为中心表；

概念2：起始中心表，数据集结构图G中入度为0的节点为一个起始中心表；

概念3：扩展表，中心表指向的表称为扩展表，扩展表也可能是中心表；

步骤2.3、根据数据集结构图G，将原始数据库O从逻辑上划分为多个不同子集，包括以下步骤：

步骤2.3.1、从数据集结构图G的指定中心表CT开始，找出此指定中心表直接连接的所有扩展表，构成集合E，第一次执行此步骤时，指定中心表为起始中心表，并将起始中心表标记为‘+’；

步骤2.3.2、对集合E中每个扩展表进行标记，每个表标记为‘+’或‘-’，列出所有标记的可能情况，每种标记的组合用‘()’括起来，放于指定中心表CT之后；

步骤2.3.3、对于每一个标记组合，如果存在标记为‘+’且其后没有‘()’标记的中心表，则将此中心表作为指定中心表CT，重复步骤2.3.1；

步骤2.3.4、如果所有组合中都不存在还未被划分过的中心表，则横向划分完成；

步骤3、为每一种不同标记的组合新建一个数据库NewBase，数据库NewBase的数据表结构与原数据集相同；