[发明专利]数据批量导入方法、系统、计算机装置及可存储介质

说明书

本发明提供了一种数据批量导入方法、系统、计算机装置及可读存储介质，所述方法包括加载程序加载根据业务对象模型的导入模板，按需向导入模板内填充数据，匹配程序根据模板的列名匹配业务对象的字段的对应关系，将列的数据作为到业务对象的字段值，多线程读取‑转换数据，批量保存数据到数据库；本发明通过生成导入模板，并按需向导入模板内填充数据，相比现有技术的定制导入模板，本办法中的自定义模板灵活性更高，适用性更强。

技术领域

本发明涉及数据导入技术领域，特别涉及一种数据批量导入方法、系统、计算机装置及可存储介质。

背景技术

数据导入作为系统常用的功能，几乎所有的系统都应该支持，主要用于系统初期，大批量初始化数据，或者需要输入的数据行比较多的情况。

导入模板是开发设计阶段时设计好的，行列的位置是固定的，再由程序按照这个设定进行读取数据和处理数据。

数据导入的一般过程是，用户按照模板格式Excel文件，然后程序读取这个文件，根据列进行对应，逐行将数据写入到系统中；

一、CN102750368B公开了一种数据库集群数据高速导入方法，其通过将数据导入功能封装为独立的数据导入驱动组件，通过数据导入驱动组件和数据库集群的控制节点中的交互控制模块相互配合实现数据高速导入功能，将数据导入对CPU、内存与网络资源的使用转移至客户端，从而解放了控制节点，实现在尽可能少受数据库集群干预的情况下完成数据的导入；同时，采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，提升导入性能，从而满足企业对数据高速导入的要求；

二、CN110737636B公开了一种数据导入方法和装置以及设备，其通选中并读取用于放置可扩展标记语言数据文件的文件传输协议目录下的文件，对不同结构的可扩展标记语言数据文件进行解析，解析成匹配该文件传输协议目录下的文件格式，为该解析成的可扩展标记语言数据文件创建表结构，获取该经创建表结构后的可扩展标记语言数据文件的定量数据，根据该定量数据，对该经创建表结构后的可扩展标记语言数据文件进行准确性校验得到校验结果，将检验结果通过准确性校验的不同结构的可扩展标记语言数据文件导入到同一文件传输协议目录下的文件中，能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中；

三、CN107145537B公开了一种表格数据导入方法及系统，其通过将有共同点的数据进行分组，然后使用批量验证的方式，提高了验证效率，节约了计算机资源；采用一个分组共用一个ORM对象，提高了内存使用效率，减少了内存消耗；

上述技术方案提出了对数据导入的改进，但是，现有技术在数据批量导入领域，仍然存在以下问题：

1、以现有技术“一”为例，现有技术中，虽然通过采用独立数据导入的方式，可以方便的通过增加客户端来实现并行导入，但是业务对象的导入模板固定，不能自定义，不够灵活；

2、以现有技术“一”为例，现有技术中，虽然能够实现将不同数据结构的可扩展标记语言数据文件放置到同一文件传输协议目录下的文件中，但是如果批量导入的数据量大，处理效率不高；

3、以现有技术“一”为例，现有技术中，虽然过将有共同点的数据进行分组，然后使用批量验证的方式，提高了验证效率，节约了计算机资源，但是还存在业务系统达到一定规模时，业务对象间会有很多引用关系，批量导入数据时需要解决引用字段的数据转换问题，会影响导入的性能和效率问题；

为此，提出数据批量导入方法、系统、计算机装置及可存储介质。

发明内容

有鉴于此，本发明实施例希望提供数据批量导入方法、系统、计算机装置及可存储介质，以解决或缓解现有技术中存在的技术问题，至少提供一种有益的选择。

专业术语解释：

业务对象，指的是领域内的概念类或现实世界中对象的可视化表示。