[发明专利]离线数据录入方法、装置、电子设备及存储介质

说明书

本发明涉及数据处理领域，揭露一种离线数据录入方法、装置、电子设备以及存储介质，所述方法包括：获取离线数据；按照预设的业务场景识别所述离线数据中是否存在新增字段；若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。本发明可以提高离线数据录入的时效性。

技术领域

本发明涉及数据处理领域，尤其涉及一种离线数据录入方法、装置、电子设备及计算机可读存储介质。

背景技术

离线数据录入可以理解为将业务系统中产生的离线数据存储到数据库的一个过程，伴随着大数据技术的快速发展，数据量成井喷式增长，如何实时高效的将离线数据录入到数据库中显得愈发重要。

目前，离线数据录入通常是以数据表的形式实现，但是在实际业务场景中，数据会存在多端变化的现象，如会新增类型的离线数据，由于数据表是以固定结构进行定义，且业务系统通常不具有数据表的数据定义语言(DDL)的权限，因此在面对新增类型的离线数据时，需要下发数据库脚本重新定义数据表的列结构才能实现离线数据录入，这样需要耗费较长时间进行数据表结构的调整，从而导致离线数据录入的时效性较低。

发明内容

本发明提供一种离线数据录入方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高离线数据录入的时效性。

为实现上述目的，本发明提供的一种离线数据录入方法，包括：

获取离线数据；

按照预设的业务场景识别所述离线数据中是否存在新增字段；

若所述离线数据不存在新增字段，获取所述离线数据的离线数据表，并根据所述离线数据表，执行所述离线数据的数据录入；

若所述离线数据存在新增字段，获取所述离线数据的静态数据表，并配置所述新增字段的动态数据表；

根据所述静态数据表，执行所述离线数据中原始字段的数据录入，及根据所述动态数据表，执行所述离线数据中新增字段的数据录入。

可选地，所述按照预设的业务场景识别所述离线数据中是否存在新增字段，包括：

按照所述业务场景获取所述离线数据的数据字段，并从所述业务场景的数据库中查询离线数据表，识别所述数据字段是否均存在于所述离线数据表中；

若所述数据字段均存在于所述离线数据表中，则所述离线数据不存在新增字段；

若所述数据字段中存在任意一个字段不在所述离线数据表中，则所述离线数据存在新增字段。

可选地，所述从所述业务场景的数据库中查询离线数据表，包括：

根据所述业务场景，获取数据表查询对象，将所述数据表查询对象转换为查询语句，利用所述查询语句向所述数据库中查询离线数据表。

可选地，所述根据所述离线数据表，执行所述离线数据的数据录入，包括：

将所述离线数据中的数据字段与所述离线数据表中离线字段进行匹配；

将所述数据字段对应数据存储至其匹配成功的离线字段中，完成所述离线数据的数据录入。

可选地，所述获取所述离线数据的静态数据表，包括：

识别所述离线数据中的原始字段，根据所述原始字段，利用查询语句向数据库中查询所述离线数据的静态数据表。

可选地，所述配置所述新增字段的动态数据表，包括：