[发明专利]多批量系统加载同源数据的方法及装置

权利要求书

1.一种多批量系统加载同源数据的方法，其特征在于，包括：

读取第一配置文件，其中，所述第一配置文件中包含：多个批量系统加载同一源系统数据表文件的配置信息，以及各个批量系统的批量时间范围；

根据所述第一配置文件，生成各个批量系统加载所述源系统数据表文件时使用的ODS表，其中，所述ODS表中保留历史数据的时间范围满足各个批量系统的批量时间范围；

将所述源系统数据表文件包含的待加载数据，加载到所述ODS表中；

根据所述源系统数据表文件的表结构变化信息，更新所述ODS表的表结构，生成对应的第二配置文件，其中，所述第二配置文件包含：所述ODS表的表结构变化信息；

根据所述第二配置文件，控制各个批量系统从更新后的ODS表中读取各自批量时间范围内的ODS表数据。

2.如权利要求1所述的方法，其特征在于，根据所述源系统数据表文件的表结构变化信息，更新所述ODS表的表结构，生成对应的第二配置文件，包括：

当所述源系统数据表文件的表结构变化信息为新增数据字段的情况下，在所述ODS表中增加所述新增数据字段，并在所述第二配置文件中配置所述新增数据字段在所述源系统数据表文件中对应于其他数据字段的位置信息；

当所述源系统数据表文件的表结构变化信息为删除数据字段的情况下，将所述ODS表中所述删除数据字段对应的数据填充为默认值NULL，并在所述第二配置文件中配置所述删除数据字段的有效性为零；

当所述源系统数据表文件的表结构变化信息为变更数据字段位置顺序的情况下，则保持所述ODS表的表结构不变，并在所述第二配置文件中配置变更位置顺序后各个数据字段的位置信息。

3.如权利要求2所述的方法，其特征在于，当所述源系统数据表文件的表结构变化信息为删除数据字段的情况下，所述方法还包括：

当所述多个批量系统中最早执行批量的批量系统加载所述源系统数据表文件时，将所述ODS表中所述删除数据字段对应的数据填充为默认值NULL，并在所述第二配置文件中配置所述删除数据字段的有效性为零；

当所述多个批量系统中最晚执行批量的批量系统加载所述源系统数据表文件时，删除所述ODS表中有效性为零的数据字段及对应的数据。

4.如权利要求2所述的方法，其特征在于，当所述源系统数据表文件的表结构变化信息为新增数据字段的情况下，在所述ODS表中末尾数据字段对应的列后增加所述新增数据字段的列。

5.一种多批量系统加载同源数据的装置，其特征在于，包括：

数据加载配置模块，用于读取第一配置文件，其中，所述第一配置文件中包含：多个批量系统加载同一源系统数据表文件的配置信息，以及各个批量系统的批量时间范围；

ODS表生成模块，用于根据所述第一配置文件，生成各个批量系统加载所述源系统数据表文件时使用的ODS表，其中，所述ODS表中保留历史数据的时间范围满足各个批量系统的批量时间范围；

源系统数据加载模块，用于将所述源系统数据表文件包含的待加载数据，加载到所述ODS表中；

ODS表更新模块，用于根据所述源系统数据表文件的表结构变化信息，更新所述ODS表的表结构，生成对应的第二配置文件，其中，所述第二配置文件包含：所述ODS表的表结构变化信息；

批量系统数据读取模块，用于根据所述第二配置文件，控制各个批量系统从更新后的ODS表中读取各自批量时间范围内的ODS表数据。