[发明专利]一种大批量同质数据的批量入库方法

说明书

本发明公开了一种大批量同质数据的批量入库方法，包括如下步骤：S1，针对每张表创建存储线程，并为其建立对应的存库队列，对于所有的需要入库的表准备预编译的插入和更新命令；S2，当收到需要入库的数据时，取出入库数据转换为数据记录实体；S3，将数据记录实体加入对应的存库队列；S4，存储线程从对应的存库队列取出相应的数据记录实体，对其中字段类型进行匹配，加入对应的插入或者删除预编译队列。本发明，利于数据库的预编译、批量提交技术，结合单条提交的传统方案实现数据高效入库的同时保证数据完整性，从而实现大批量同质数据高效、完整入库的问题，降低数据库服务器压力。

技术领域

本发明涉及数据库技术领域，具体为一种大批量同质数据的批量入库方法。

背景技术

对于海量数据入库的场景，因为数据提供者往往是通过不同渠道、不同方式提供数据，而且存在服务端不易控制的高并发情况，因此高效完整的保存数据是大数据平台必须解决的问题。

当需要对数据库进行数据插入、更新或者删除的时候，程序会发送整个SQL语句给数据库处理和执行。数据库处理一个SQL语句，需要完成解析SQL语句、检查语法和语义以及生成代码；一般说来，处理时间要比执行语句所需要的时间长。预编译语句在创建的时候已经是将指定的SQL语句发送给了数据库，完成了解析、检查、编译等工作。因此，当一个SQL语句需要执行多次时，使用预编译语句可以减少处理时间，提高执行效率，这种技术对于海量的同质数据入库场景带来的效率提升是非常客观的。

但单一的批量提交入库对于数据完整度要求高的场景也会存在风险，如果单条数据异常造成无法入库就会本次批量提交的所有数据无法入库，造成数据丢失。

有鉴于此，我们设计并实现了结合预处理、批量提交、单条提交技术，针对大批量同质化数据高效、完整入库的优化方法。

发明内容

本发明的目的在于提供一种大批量同质数据的批量入库方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种大批量同质数据的批量入库方法，包括如下步骤：

S1，针对每张表创建存储线程，并为其建立对应的存库队列，对于所有的需要入库的表准备预编译的插入和更新命令；

S2，当收到需要入库的数据时，取出入库数据转换为数据记录实体；

S3，将数据记录实体加入对应的存库队列；

S4，存储线程从对应的存库队列取出相应的数据记录实体，对其中字段类型进行匹配，加入对应的插入或者删除预编译队列；

S5，预编译队列中数据记录数超过配置值时提交批处理命令，进入步骤S7；

S6，当预编译队列中数据记录数不为0且等待时间大于配置值时提交批处理命令；

S7，提交批处理命令；

S8，判断执行是否成功，如果成功则做存库成功对应的处理；

S9，命令执行失败，则将批量提交的数据记录拆为单条提交；

S10，对于每一条单独提交的数据记录，如果保存成功则做存库成功对应的处理，如果保存失败，则做存库失败对应处理。

与现有技术相比，本发明的有益效果是：

本发明，利于数据库的预编译、批量提交技术，结合单条提交的传统方案实现数据高效入库的同时保证数据完整性，从而实现大批量同质数据高效、完整入库的问题，降低数据库服务器压力。

附图说明

图1是本发明的流程图。

具体实施方式