[发明专利]一种获取数据源变更信息的方法和装置

说明书

本发明提供一种获取数据源变更信息的方法和装置，能够及时获取数据源的变更信息，并进行表结构变更操作或者新增数据源操作，以保证数据的完整性、及时性。本发明的获取数据源变更信息的方法包括：把数据源发生了变更的业务系统的数据抽取到数据仓库；根据所述数据和数据仓库中保存的元数据信息，建立所述业务系统的数据变更模型和元数据的数据流模型；根据所述数据变更模型和所述元数据的数据流模型，建立数据源变更模型，所述数据源变更模型包括数据源变更信息。

技术领域

本发明涉及计算机和计算机软件技术领域，特别地涉及一种获取数据源变更信息的方法和装置。

背景技术

随着电商业务的快速发展和扩张，业务流程也在不断变化、改进，为了满足业务的数据增长和业务变更需求，业务系统的数据库也要随之发生改变，包括新建数据库、数据库升级、数据表的表结构变更(例如：字段类型升级、添加字段)等。为满足业务的数据需求，已接入数据仓库的数据表也要及时变更，变更的类型主要有新增数据源、切换数据源、变更表结构等。

数据源是数据的来源。在本申请中，数据源是指提供数据仓库所需数据的器件或原始媒体。在数据源中存储了所有建立数据库连接的信息。通过数据源名称，可以找到相应的业务数据库的连接。一个数据源对应业务系统的一个数据库。

数据源中的数据通过数据上报过程被传递到数据仓库中。数据上报是数据抽取的前提，是下游数据传递到上游数据的过程。数据仓库的用户根据需要利用数据上报把要用到的业务系统的数据的属性信息传递到数据仓库，为数据抽取提供基础的数据源信息。数据上报可分为两类，一类是上报从未进入到数据仓库的数据；另一类是上报已接入数据仓库，但对应业务系统的数据表或数据库发生变更的信息，这样的变更可称之为数据源变更。

数据源变更是数据上报的一种，是根据业务系统的数据库变更，对已接入到数据仓库的数据表及其数据源做相应变更的操作。数据源变更类型可以包括新增数据源、切换数据源、变更表结构等。

元数据是关于数据的组织、数据域及其关系的信息，简言之，元数据是描述数据的数据。在本发明中是指在数据仓库建设过程中所产生的有关数据源定义、目标定义、转换规则等相关的关键数据。因此，元数据在数据源的变更过程中也起到了极为重要的作用。

在目前的现有技术中，发生数据源变更和相应的处理方式主要有如下两种情况。

一种是提前接到业务系统的研发人员的通知的情况，这时确认数据源将要发生变更。一般这种情况下不能立刻确定数据源将要变更的具体信息，而需要不断咨询研发人员以获取到详细的数据源变更信息。如果在这种情况下有人为遗忘发生，则会造成数据处理不及时，影响到数据的时效性。

另一种是没有提前获取到数据源变更通知的情况。当监控到数据仓库模型架构的基础数据层fdm(fundamental data model)层数据出现异常，或者数据使用方发现后反馈数据异常，那么数据仓库中清单表的负责人就要查找原因。负责人可通过咨询业务系统的研发人员、查询业务系统的表结构、查看数据表在数据仓库中的处理日志等方式，确认出现数据异常的原因。如果确定问题原因与业务系统有关，就要确定问题范围，即确定数据从哪天开始出现异常，然后根据出现异常的原因，对数据仓库的数据表进行变更操作，并重新抽取从出现问题那天开始的、业务系统中对应数据表新增或更新的所有数据到数据仓库的缓冲数据层bdm(buffering data model)层，并以剔除异常数据的bkactive(backup active)层数据为基础，拉链处理到fdm层。然后检查fdm层的数据是否仍有异常情况，如果有异常，需要继续检查原因，重新处理。

由上述介绍可知，现有的处理数据源变更的方案，在使用过程中，仍存在如下的缺陷：

1、如果提前知道数据源将要变更，但不知道具体的变更信息，则需要不断的沟通确认，一旦出现人为遗忘，将不能及时获取数据源变更信息，影响数据的时效性和完整性；