[发明专利]一种基于企业数据盘点的元数据采集方法

说明书

本发明公开了一种基于企业数据盘点的元数据采集方法，包括以下步骤：步骤1：建立元数据采集标准目录库，配置数据源，在此目录下进行数据采集实施的准备工作；步骤2：建立元数据采集规则，在此规则下，通过数据采集模块自动采集元数据信息，生成数据目录与数据表进行关联；步骤3：数据分析模块对数据表进行有效性筛选和自动判定，五个工作日内，进行更新匹配；步骤4：数据监控模块实时监控数据有效性及数据变更信息，进行数据重新采集和筛除。本发明的优点在于提高了元数据采集的效率及数据准确率，避免了重复性的元数据采集操作，从而实现了元数据的快速采集。实时监控数据的有效性和准确性。

技术领域

本发明涉及数据资源管理技术领域，特别是一种基于企业数据盘点的元数据采集方法。

背景技术

当今社会中，数据量高速膨胀，数据正成为政府、企业的核心竞争力，人们通过数据分析，挖掘数据价值为管理决策者提供准确的判断依据。

元数据管理系统是提升共享、重新获取和理解企业信息资产水平的重要工具，是企业信息管理的润滑剂。如果企业不对元数据进行管理或管理不得当，信息将被丢失或处于隐匿状态而难以被用户使用，数据集成将十分昂贵，不能对业务进行有效支撑。其中，元数据采集是元数据管理系统的核心，亦是整个系统的基础。

当前的元数据采集主要分为手动采集和定时采集两种。手动采集是根据数据源信息，利用对应采集器去采集指定数据源中库，表，字段等属性信息。定时采集是按照指定时间去采集上述信息。

不论是手动采集还是定时采集，其技术方案如下：配置数据源：配置将要采集的数据源信息，如数据源的IP，端口，用户名，密码等。选择采集器：根据不同的数据源选择不同的采集器进行采集，比如采集Oracle数据源信息，则需要选择Oracle采集器进行元数据的采集。采集元数据：按照事先约定的规则按顺序采集对应元数据信息，比如先采集库相关元数据，然后采集表相关元数据，最后采集字段相关元数据等。

上述元数据采集方案具有以下缺点：数据量很大时，采集元数据信息很费时；重复工作很多，比如指定数据源上次采集的信息和这次采集的信息是相同的，那么这次的工作毫无意义。还有当库信息发生变更时，利用上述方法，还会采集表，字段这些没有变化的属性，这些实际没有必要，因为上一次采集已经都有这些属性了。

发明内容

本发明的目的是为了解决上述问题，设计了一种基于企业数据盘点的元数据采集方法，其特征在于，包括以下步骤：

步骤1：建立元数据采集标准目录库，配置数据源，在此目录下进行数据采集实施的准备工作；

步骤2：建立元数据采集规则，在此规则下，通过数据采集模块自动采集元数据信息，生成数据目录与数据表进行关联；

步骤3：数据分析模块对数据表进行有效性筛选和自动判定，五个工作日内，进行更新匹配；

步骤4：数据监控模块实时监控数据有效性及数据变更信息，进行数据重新采集和筛除。

为了对本技术方案进行进一步补充，步骤1中所述数据采集实施的准备工作包括；明确数据盘点的范围及其所涉及的业务活动；明确支撑数据盘点工作的业务部门和人员；明确盘点对象数据架构，收集相关电子文档资料；收集元数据采集所需的数据库配置信息。

为了对本技术方案进行进一步补充，所述元数据采集规则包含各个元数据属性与相应元数据内容在目标数据内容中的布局位置之间的对应关系，各个所述元数据属性为预先制定的元数据标准所规定的属性。

为了对本技术方案进行进一步补充，所述元数据采集标准目录包括若干个布局结构相同的子目录。

为了对本技术方案进行进一步补充，所述数据表包括技术元数据、业务元数据和管理元数据。