[发明专利]数据入库方法、装置、系统、电子装置和存储介质

说明书

本申请涉及一种数据入库方法、装置、系统、电子装置和存储介质，其中，该数据入库方法包括：通过获取待入库原始数据和预设字典表，根据所述预设字典表，将所述待入库原始数据进行顺序排列，得到入库数据；根据所述预设字典表生成入库模板，将所述入库数据根据所述入库模板进行封装，得到封装数据；将所述封装数据批量插入数据库，以得到数据库入库结果。通过本申请，解决了数据入库准确率和效率低的问题，实现了将乱序数据批量插入数据库的目的。

技术领域

本申请涉及数据库技术领域，特别是涉及。数据入库方法、装置、系统、电子装置和存储介质。

背景技术

在大数据平台中，需要将大数据平台(例如kafka)中消费处理后的数据批量入库(例如ClickHouse，用于联机分析的列式数据库管理系统)，但是大数据平台在进行消费处理后的消息数据经常出现字段值缺失和字段顺序混乱的情况。

目前相关技术中，针对大数据技术处理后的字段值缺失和字段顺序混乱等数据入库问题，主要采用定义数据项名称、数据项内容的方式匹配再入库，该方法入库准确率不高且效率低。

针对相关技术中存在数据入库准确率和效率低的问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种数据入库方法、装置、系统、电子装置和存储介质，以解决相关技术中数据入库准确率和效率低的问题。

第一个方面，在本实施例中提供了一种数据入库方法，该方法包括：

获取待入库原始数据和预设字典表，根据所述预设字典表，将所述待入库原始数据进行顺序排列，得到入库数据；

根据所述预设字典表生成入库模板，将所述入库数据根据所述入库模板进行封装，得到封装数据；

将所述封装数据批量插入数据库，以得到数据库入库结果。

在其中的一些实施例中，所述将所述待入库原始数据进行顺序排列，得到入库数据，包括：

将所述待入库数据进行初步封装，得到初步封装原始数据；并将所述预设字典表进行初步封装，得到初步封装预设字典表；其中，所述初步封装预设字典表包括预设字典表字段名称、预设字典表字段初值和预设字典表字段取值初值；

将所述初步封装原始数据中的字段与所述初步封装预设字典表进行比较得到比较结果，若所述比较结果指示所述初步封装原始数据字段缺失，根据所述预设字典表字段初值对所述缺失的初步封装原始数据字段赋字段初值，得到待循环原始数据；

获取所述待循环原始数据的当前待循环数据条；

依次读取所述预设字典表的字典表字段名称，获取所述当前待循环数据条中与所述字典表字段名称对应的当前字段取值，根据所述当前字段取值得到当前入库数据；

获取所述待循环原始数据的下一次待循环数据条，依次读取所述字典表字段名称，获取所述下一次待循环数据条中与所述字典表字段名称对应的下一次字段取值，根据所述下一次字段取值得到下一次入库数据，直至所述待循环数据中的所述待循环数据条读取结束；

根据所述当前入库数据和所述下一次入库数据得到所述入库数据。

在其中的一些实施例中，所述将所述待入库原始数据进行顺序排列，得到入库数据，还包括：

获取所述待入库原始数据中的待入库数据条；

根据所述预设字典表的字典表字段，获取所述待入库数据条中与所述字典表字段对应的待入库字段；其中，所述字典表字段包括字典表字段名称、字典表字段初值和字典表字段取值初值；所述待入库字段包括待入库字段名称和待入库字段取值；

根据所述字典表字段，对所述待入库字段进行提取，得到所述入库数据。