[发明专利]数据管理系统及工作方法

说明书

本发明涉及移动互联技术领域，提供了一种数据管理系统及工作方法，包括：数据采集模块，采集元数据信息和作业运行数据；采集生产数据库表的变更信息；元数据管理模块，接收元数据信息，根据元数据信息设计元数据库表，发布至存储模块；得到元数据变更信息，发送至存储模块；存储模块，按照元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；数据血缘管理模块，根据作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息。通过统一的元数据管理，数据血缘分析，能够快速、准确对库表变更影响进行评估。

技术领域

本发明涉及移动互联技术领域，尤其涉及一种数据管理系统及工作方法。

背景技术

银行系统执行作业时，需要调用各种各样的数据库表，不同的数据库表之间可能存在关联，当数据库表发生变更时，会影响作业过程中上下游的其他库表，因此需要及时评估变更带来的影响。目前的库表变更影响评估方式中，一般采用纯手工或半自动化的方式，在半自动化的测试方式中，是通过搭建与生产系统相同的操作系统和数据库软件的测试环境，并保证测试环境与生产系统的数据库中元数据与库表变更相关的SQL信息完全一致，通过在测试环境的数据库中，模拟生产系统数据库将要进行的变更，对比变更前后作业执行情况，获取访问受影响的SQL语句。

但上述测试方式的资源成本较高，且人力投入大，评估周期较长，变更影响评估的工作效率较低。

发明内容

本发明实施例提供一种数据管理系统，用以降低库表变更影响评估所投入的人力和资源成本，提高评估效率，该数据管理系统包括：

数据采集模块，用于采集多个生产数据库表中业务数据的元数据信息和业务数据对应的作业运行数据；采集所述生产数据库表的变更信息；

元数据管理模块，用于接收数据采集模块发送的多个生产数据库表中业务数据的元数据信息，根据所述元数据信息设计元数据库表，发布元数据库表至存储模块；根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；

存储模块，用于按照所述元数据库表，将元数据存储在数据库中；根据元数据变更信息，在数据库中同步更新元数据；

数据血缘管理模块，用于根据业务数据对应的作业运行数据，对存储模块中存储的元数据进行血缘分析，确定元数据的血缘链路；根据元数据变更信息和元数据的血缘链路，确定库表变更所影响的上下游信息；

其中，所述数据采集模块，包括：

元数据信息采集单元，用于获取银行系统中的多个生产数据库表，采集多个生产数据库表中业务数据的元数据信息；

作业运行情况采集单元，用于获取银行系统内的业务作业数据，根据业务作业数据，分析作业对生产数据库表的字段调用关系，得到业务数据对应的作业运行数据；

数据变更监控单元，用于监控所述生产数据库表，得到所述生产数据库表的变更信息；

其中，业务作业数据中包含业务作业的处理逻辑和库表调用关系。

本发明具体实施例中，所述元数据管理模块，包括：

元数据设计发布单元，用于根据多个生产数据库表中业务数据的元数据信息，设计元数据库表中字段长度和字段类型，得到元数据库表，将所述元数据库表发布至存储模块；

元数据变更管理单元，用于接收数据采集模块发送的生产数据库表的变更信息，根据生产数据库表的变更信息，得到元数据变更信息，将元数据变更信息发送至存储模块；

元数据查询单元，用于生成元数据的数据目录，根据所述数据目录对元数据进行检索，根据检索结果向存储模块调用对应的元数据。

本发明具体实施例中，所述数据血缘管理模块，包括：