[发明专利]数据仓库模型技术层面差异比对方法

说明书

技术领域

本发明涉及一种数据仓库模型技术层面差异比对方法，该方法基于分析域结构化数据抽取接入成果及国网标准明细层数据模型设计成果，开展分析缓冲区数据模型与国网标准明细层数据模型的技术层面差异比对工作，针对差异性的表、字段、类型等进行快速、准确地输出差异，为数据仓库建模的差异性方面提供技术支撑。

背景技术

随着总部统一数据仓库模型设计成果落地，国网福建电力基于总部统一数据仓库模型设计成果并结合国网福建电力实际业务流程开展数据仓库物理模型差异比对及落地工作，考虑到分析域建设过程中涉及的接入系统及数据表数量较多，如果单纯依靠人工进行数据仓库物理模型差异比对及落地，耗时长而且人工形成数据仓库物理模型的过程中容易出错。另外，目前系统建设工期紧、任务重，如果将大量的人力及时间放在数据仓库物理模型差异比对上，则分析域整体建设进度将受到影响。鉴于以上情况，基于分析域结构化数据抽取接入成果，从技术层面开展数据仓库模型差异比对研究出一套方法来辅助开展进行数据仓库物理模型差异比对工作，通过技术层面开展数据仓库模型差异比对后再根据业务层面判别数据仓库模型的准确性，大大节约人工成本。

发明内容

本发明的目的在于提供一种数据仓库模型技术层面差异比对方法，该方法基于分析域结构化数据抽取接入成果及国网标准明细层数据模型设计成果，开展分析缓冲区数据模型与国网标准明细层数据模型的技术层面差异比对工作，针对差异性的表、字段、类型等进行快速、准确地输出差异，为数据仓库建模的差异性方面提供技术支撑。

为实现上述目的，本发明的技术方案是：一种数据仓库模型技术层面差异比对方法，采用自动化比对模型，包括表比对模型、字段比对模型及类型比对模型；

（1）对于表比对模型，按照循环遍历的方法以及统一的模型标准进行模型输入的规范化处理，通过国网标准明细层数据模型的关联匹配，将匹配的结果集以及未匹配的结果集进行差异性的输出；

（2）对于字段比对模型，对表的差异性进行判断，判断出缓冲区数据模型与国网标准明细层数据模型的差异性，从而基于缓冲区数据表模型与国网标准明细层数据表模型的交集部分进行处理，按照循环遍历的方法及统一的模型标准进行模型输入的规范化处理，通过国网标准明细层数据模型的关联匹配，将匹配的结果集以及未匹配的结果集进行差异性的输出；

（3）对于类型比对模型，基于缓冲区数据表模型与国网标准明细层数据表模型的交集部分和缓冲区数据表字段模型与国网标准明细层数据表字段模型的交集部分进行数据处理，并将这部分数据，作为输入对象，按照统一的模型标准进行模型输入的规范化处理，通过循环遍历的方法，进行细化到表字段类型层面的关联匹配，将匹配的结果进行差异性的输出。

在本发明一实施例中，所述表比对模型的具体实现过程为：第一步，按照循环遍历的方法，获取分析域缓冲区数据表模型；第二步，通过国网标准明细层数据模型的关联匹配，将匹配的结果集以及未匹配的结果集进行差异性的输出；第三步，将输出结果标识为新增表、缺失表、相同表。

在本发明一实施例中，所述字段比对模型的具体实现过程为：第一步，将新增表的所有字段判断为新增字段；第二步，将缺失表的所有字段判断为缺失字段；第三步，将相同表的字段进行循环遍历，然后与国网标准明细层数据表字段模型的关联匹配，输出差异，输出结果标识为新增字段、缺失字段、相同字段。

在本发明一实施例中，所述类型比对模型的具体实现过程为：第一步，针对新增字段的类型进行判断为新增类型；第二步，针对缺失字段的类型进行判断为缺失类型；第三步，针对相同字段的判断类型是否相同，如果相同则判断类型相同，否则判断为类型修改；第四步，针对类型修改的字段则修改为国网标准明细层数据模型的标准字段类型。

在本发明一实施例中，针对输出的差异性的表、字段、类型需进行转换，按照数据仓库的标准模型进行对照转换，包括表名的命名规范转换、字段的规范转换，以及类型的转义。

在本发明一实施例中，针对输出的成果、以及转义的成果进行，进行建模语句的输入，生成本地文件。

相较于现有技术，本发明具有以下有益效果：本发明通过技术数据仓库模型层面差异比对方法，通过自定义的模型比对，利用表层面的模型比对、字段层面的模型比对、类型层面的模型比对，挖掘表差异信息，下钻到字段的差异信息以及类型差异信息，节约了数据仓库物理模型差异比对的人工工作量并提高了模型差异比对的准确性, 保障全业务数据接入与清洗以及全业务统一数据中心数据分析域的建成,为数据仓库建模提供技术支持。

附图说明