[发明专利]一种构建数据仓库标准层的方法和系统

说明书

本发明涉及一种构建数据仓库标准层的方法和系统。包括：标准层包括表模型和字段模型；对于数据库中各表，确定其是否为孤岛表，将非孤岛表作为表模型进放入标准层；所述孤岛表是指该表与其他表不存在外键关系；对于数据库中各表的字段，确定其是否为主数据字段；当该字段为主数据字段时，该字段放入标准层；当该字段不是主数据字段时，如果其字段特征中的填充率大于阈值且为非默认值时，将该字段放入标准层；当分析数据类型与原始类型不一致时，字段类型判断数据比例为100％时推荐转换类型；如果为码值字段，则推荐进行查看设置码值转换。本发明提高了数据标准化的程度。

技术领域

本发明属于商业智能技术领域，具体涉及一种构建数据仓库标准层的方法和系统。

背景技术

在数据仓库、数据治理、数据湖等数据系统构建中，在数据入仓之前，都需要对数据进行标准化加工处理。在传统的技术方案中，数据标准化操作都是采用对数据库的PDM文件、表备注、字段备注、字段内容人工查看等方式来判定每张表每个字段是否需要进行标准化，如何标准化。传统技术对人工的依赖性比较重，如果出现字段、表、字段码值命名不规范、命名解释缺失，人员对数据结构、关系不了解，缺少PDM文件或者说明文档，人员对公司组织的业务流程不了解等情况，数据标准化操作将会变得非常困难。尤其在组织内系统繁杂，系统表数据量众多的时候，则需要投入非常多的人工来进行数据的识别、判断，这样仍然存在数据标准化不彻底、标准落地遗漏等问题。

发明内容

本发明提出一种构建数据仓库标准层的方法和系统。

为了解决现有技术中的技术问题，本发明提出一种构建数据仓库标准层的方法，包括：标准层包括表模型和字段模型；

对于数据库中各表，确定其是否为孤岛表，将非孤岛表作为表模型进放入标准层；所述孤岛表是指该表与其他表不存在外键关系；

对于数据库中各表的字段，确定其是否为主数据字段；当该字段为主数据字段时，该字段放入标准层；当该字段不是主数据字段时，如果其字段特征中的填充率大于阈值(例如2％)且为非默认值时，将该字段放入标准层；

当分析数据类型与原始类型不一致时，字段类型判断数据比例为100％时推荐转换类型，例如，当原始类型为文本时，发现存储的数据均为(100％)浮点数(即小数)时，推荐转换为更精确的浮点类型；如果为码值字段，则推荐进行配置码值转换的规则。该处描述的码值即枚举值。

作为一种优选的实施方式，通过表级知识图谱确定数据库中各表是否为孤岛表；所述表级知识图谱是指将各表以及各表之间的外键关系以可视化的图结构展示的知识图谱；所述表级知识图谱包括节点和边，每一个节点代表一张表，每一条边代表一种外键关系；通过表级知识图谱中各节点之间是否存在边来确定对应的表是否存在外键关系，当某一节点于其他任何节点不存在边时，该节点代表的表为孤岛表。

作为一种优选的实施方式，通过字段级知识图谱确定数据库中各表的字段是否为主数据字段；所述字段级知识图谱是指将各表的字段、表间关系以可视化的图结构形式展示的知识图谱；所述字段级知识图谱包括节点和边，每一个节点代表一个字段，每一条边代表一种字段间关系；所述表间关系体现为来自不同表的字段之间的关系，至少包括外键关系、数据相等或数据去空相等；在确定主数据字段时，通过字段级知识图谱找出表间关系为外键关系、数据相等或数据去空相等的两个字段，且所述两个字段的原始数据来源于不同的业务系统时，将该两个字段作为主数据字段。

作为一种优选的实施方式，获取所述表级知识图谱的方法为：获取数据库中各表所来自的业务系统、表名，以及各表中的字段名；针对各表，根据表中字段的值，分析各字段的特征；以及针对各表，根据表名、字段名以及字段的值，计算获得表内各字段之间的表内函数依赖关系；针对各表，根据表内函数依赖关系识别出各表的主键，并根据所述主键的特征在其他表中寻找并确定与之对应的外键，在主键和外键之间形成外键关系；将各表以及各表之间的外键关系以可视化的图结构形式展示作为表级知识图谱。