[发明专利]多批量系统加载同源数据的方法及装置

说明书

本发明公开了一种多批量系统加载同源数据的方法及装置，该方法包括：读取第一配置文件；根据第一配置文件，生成各个批量系统加载源系统数据表文件时使用的ODS表，使得ODS表中保留历史数据的时间范围满足各个批量系统的批量时间范围；将源系统数据表文件包含的数据，加载到ODS表中；根据源系统数据表文件的表结构变化信息，更新ODS表的表结构，生成包含ODS的表结构变化信息的第二配置文件；根据第二配置文件，控制各个批量系统从更新后的ODS表中读取各自批量时间范围内的ODS表数据。本发明能够实现数据源文本一次加载、多次使用的目的。

技术领域

本发明涉及大数据领域，尤其涉及一种多批量系统加载同源数据的方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在大数据时代，由于时效性和需求的不同，企业数据往往会由多个不同的批量系统来处理。在大数据趋势下，企业的每个批量系统每天要处理几T甚至十几T的数据。例如，银行的每个批量系统每天都要接收大量来自上游数据源系统的数据文本，并对接收到的数据文本执行如下数据清洗加载工作：配置信息检查；检测数据文本是否到达；当数据文本到达后，根据数据清理规则判断是否需要对接收到的数据文本进行数据清洗；当数据洗清成功后，将数据加载到批量系统的ODS表。

现有多批量系统加载同源数据的方法是：由每个批量系统每天重复执行一遍上述数据清洗加载流程。这种方式，不仅会耗费大量资源和时间，而且会使得各个批量系统的维护变得复杂，由于各个批量系统的批量时间范围不同，一旦数据源系统的数据结构发生变化，很容易会出现漏维护某个批量系统的情况。

因而，针对加载同一数据源数据文本的多个批量系统，提供一种数据加载方法，支持源系统数据文本一次加载、多次使用，是目前亟待解决的问题。

发明内容

本发明实施例中提供了一种多批量系统加载同源数据的方法，用以解决现有大数据平台中，对于需要从同一数据源系统加载数据的各个批量系统，均要重复执行一遍数据加载流程，不仅耗费资源和时间，而且容易出现个别批量系统漏维护的技术问题，该方法包括：读取第一配置文件，其中，第一配置文件中包含：多个批量系统加载同一源系统数据表文件的配置信息，以及各个批量系统的批量时间范围；根据第一配置文件，生成各个批量系统加载源系统数据表文件时使用的ODS表，其中，ODS表中保留历史数据的时间范围满足各个批量系统的批量时间范围；将源系统数据表文件包含的待加载数据，加载到ODS表中；根据源系统数据表文件的表结构变化信息，更新ODS表的表结构，生成对应的第二配置文件，其中，第二配置文件包含：ODS表的表结构变化信息；根据第二配置文件，控制各个批量系统从更新后的ODS表中读取各自批量时间范围内的ODS表数据。

本发明实施例中还提供了一种多批量系统加载同源数据的装置，用以解决现有大数据平台中，对于需要从同一数据源系统加载数据的各个批量系统，均要重复执行一遍数据加载流程，不仅耗费资源和时间，而且容易出现个别批量系统漏维护的技术问题，该装置包括：数据加载配置模块，用于读取第一配置文件，其中，第一配置文件中包含：多个批量系统加载同一源系统数据表文件的配置信息，以及各个批量系统的批量时间范围；ODS表生成模块，用于根据第一配置文件，生成各个批量系统加载源系统数据表文件时使用的ODS表，其中，ODS表中保留历史数据的时间范围满足各个批量系统的批量时间范围；源系统数据加载模块，用于将源系统数据表文件包含的待加载数据，加载到ODS表中；ODS表更新模块，用于根据源系统数据表文件的表结构变化信息，更新ODS表的表结构，生成对应的第二配置文件，其中，第二配置文件包含：ODS表的表结构变化信息；批量系统数据读取模块，用于根据第二配置文件，控制各个批量系统从更新后的ODS表中读取各自批量时间范围内的ODS表数据。