[发明专利]一种构建数据仓库标准层的方法和系统

权利要求书

1.一种构建数据仓库标准层的方法，其特征在于，标准层包括表模型和字段模型；

对于数据库中各表，确定其是否为孤岛表，将非孤岛表作为表模型进放入标准层；所述孤岛表是指该表与其他表不存在外键关系；

对于数据库中各表的字段，确定其是否为主数据字段；当该字段为主数据字段时，该字段放入标准层；当该字段不是主数据字段时，如果其字段特征中的填充率大于阈值且为非默认值时，将该字段放入标准层；

当分析数据类型与原始类型不一致时，字段类型判断数据比例为100％时推荐转换类型；如果为码值字段，则推荐进行配置码值转换的规则。

2.如权利要求1所述的构建数据仓库标准层的方法，其特征在于，通过表级知识图谱确定数据库中各表是否为孤岛表；

所述表级知识图谱是指将各表以及各表之间的外键关系以可视化的图结构展示的知识图谱；所述表级知识图谱包括节点和边，每一个节点代表一张表，每一条边代表一种外键关系；

通过表级知识图谱中各节点之间是否存在边来确定对应的表是否存在外键关系，当某一节点于其他任何节点不存在边时，该节点代表的表为孤岛表。

3.如权利要求1所述的构建数据仓库标准层的方法，其特征在于，通过字段级知识图谱确定数据库中各表的字段是否为主数据字段；

所述字段级知识图谱是指将各表的字段、表间关系以可视化的图结构形式展示的知识图谱；所述字段级知识图谱包括节点和边，每一个节点代表一个字段，每一条边代表一种字段间关系；所述表间关系体现为来自不同表的字段之间的关系，至少包括外键关系、数据相等或数据去空相等；

在确定主数据字段时，通过字段级知识图谱找出表间关系为外键关系、数据相等或数据去空相等的两个字段，且所述两个字段的原始数据来源于不同的业务系统时，将该两个字段作为主数据字段。

4.如权利要求2所述的构建数据仓库标准层的方法，其特征在于，获取所述表级知识图谱的方法为：

获取数据库中各表所来自的业务系统、表名，以及各表中的字段名；

针对各表，根据表中字段的值，分析各字段的特征；以及针对各表，根据表名、字段名以及字段的值，计算获得表内各字段之间的表内函数依赖关系；

针对各表，根据表内函数依赖关系识别出各表的主键，并根据所述主键的特征在其他表中寻找并确定与之对应的外键，在主键和外键之间形成外键关系；

将各表以及各表之间的外键关系以可视化的图结构形式展示作为表级知识图谱。

5.如权利要求3所述的构建数据仓库标准层的方法，其特征在于，获取字段级知识图谱中所述表间关系的方法为：

通过表内函数依赖关系，确定外键所属的表A，找到该外键字段的闭包，将闭包内字段去重后形成一张以该外键的字段为主键的临时表B；

通过外键关系，将主键所在表C作为左表，以临时表B作为右表，进行内连接形成一张新的临时表D；

对临时表D中各字段在表A和表C的值进行对比，以形成如下表间关系：

数据相等，即表A和表C之间字段在临时表D中两列数据完全相等；

数据去空相等，即表A和表C之间字段在临时表D中两列数据去除空值后相等。

6.一种构建数据仓库标准层的系统，其特征在于，包括：

处理器；数据库；以及存储器，其中存储有程序，数据库存储各表，

其中在所述处理器执行所述程序时，进行以下操作：

对于数据库中各表，确定其是否为孤岛表，将非孤岛表作为表模型进放入标准层；所述孤岛表是指该表与其他表不存在外键关系；

对于数据库中各表的字段，确定其是否为主数据字段；当该字段为主数据字段时，该字段放入标准层；当该字段不是主数据字段时，如果其字段特征中的填充率大于阈值且为非默认值时，将该字段放入标准层；

当分析数据类型与原始类型不一致时，字段类型判断数据比例为100％时推荐转换类型；如果为码值字段，则推荐进行配置码值转换的规则。