[发明专利]一种文件生成方法、装置及存储介质

说明书

本说明书实施例提供一种文件生成方法、装置及存储介质，可以应用于大数据处理技术领域。包括：获取文件生成任务；所述文件生成任务包括将第一数据表中的目标数据转换为符合第二数据表结构的文件；所述文件生成任务对应有文件配置表；所述文件配置表至少包括所述第二数据表结构的变化日期和所述第二数据表的当前列信息；在获取所述文件生成任务的当前日期早于所述第二数据表结构的变化日期的情况下，根据所述第二数据表的当前列信息将所述目标数据转换生成符合第二数据表结构的文件，以提高文件的生成效率。

技术领域

本说明书实施例涉及大数据处理技术领域，特别涉及一种文件生成方法、装置及存储介质。

背景技术

将传统关系型数据库的数据迁移到hadoop平台上的工作过程中，数据迁移还是以批量文件交换的方式为主。因为上游文件结构需跟下游大数据领域的数据库(包含hive、hbase数据库)表结构保持严格一致，且上游表结构变化后，下游表结构需紧随其后完成变更，以实现上下游表结构一致。因此需要一个能够支持配置化易扩展的文件生成系统，且该文件系统还需具备识别上游源表结构变化的能力。

当前最常用的文件生成方式有串行生成固定结构文件方式和基于传统关系型数据库oracle数据库视图USER_TAB_COLUMNS或Mysql数据库的information_schema.columns进行配置生成方式。

串行生成固定结构文件方式即生成固定结构的文件，以使上下游文件结构一致。然而该方式扩展不灵活，各文件之间强依赖，批量执行时间长，无法识别源表结构变化。基于传统关系型数据库oracle数据库视图USER_TAB_COLUMNS或Mysql数据库的information_schema.columns进行配置生成方式将源表结构变化即时反映在文件结构中，但是无法支持当下游表结构同步变更存在时间滞后的场景。

目前应对上游源表结构变化影响下游数据加载的场景，通常采用变更数据日期，临时下空文件的应急方案。这种模式已经无法满足业务对于系统处理时效以及业务功能上线周期的需求。为提升业务效率及管控水平，亟需设计一种灵活高效的文件生成系统。

发明内容

本说明书实施例的目的是提供一种文件生成方法、装置及存储介质，以提高文件的生成效率。

为解决上述问题，本说明书实施例提供一种文件生成方法，所述方法包括：获取文件生成任务；所述文件生成任务包括将第一数据表中的目标数据转换为符合第二数据表结构的文件；所述文件生成任务对应有文件配置表；所述文件配置表至少包括所述第二数据表结构的变化日期和所述第二数据表的当前列信息；在获取所述文件生成任务的当前日期早于所述第二数据表结构的变化日期的情况下，根据所述第二数据表的当前列信息将所述目标数据转换生成符合第二数据表结构的文件。

为解决上述问题，本说明书实施例还提供一种文件生成装置，所述装置包括：获取模块，用于获取文件生成任务；所述文件生成任务包括将第一数据表中的目标数据转换为符合第二数据表结构的文件；所述文件生成任务对应有文件配置表；所述文件配置表至少包括所述第二数据表结构的变化日期和所述第二数据表的当前列信息；生成模块，用于在获取所述文件生成任务的当前日期早于所述第二数据表结构的变化日期的情况下，根据所述第二数据表的当前列信息将所述目标数据转换生成符合第二数据表结构的文件。

为解决上述问题，本说明书实施例还提供一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序以实现：获取文件生成任务；所述文件生成任务包括将第一数据表中的目标数据转换为符合第二数据表结构的文件；所述文件生成任务对应有文件配置表；所述文件配置表至少包括所述第二数据表结构的变化日期和所述第二数据表的当前列信息；在获取所述文件生成任务的当前日期早于所述第二数据表结构的变化日期的情况下，根据所述第二数据表的当前列信息将所述目标数据转换生成符合第二数据表结构的文件。