[发明专利]基于多线程的数据导入方法、系统及存储介质

权利要求书

1.一种基于多线程的数据导入方法，应用于电子装置，其特征在于，所述方法包括：

通过读取主线程获取消息数据，并将所述消息数据放入队列缓存池中；

通过两个以上的读取子线程从所述队列缓存池中同时读取设定数量的所述消息数据；各读取子线程并行对本线程所读取的所述消息数据进行数据转化和数据校验；

各读取子线程将本线程内的校验合格的消息数据按照是否符合预先设定的校验条件分为处理成功数据和处理失败数据；将所述处理成功数据放入阻塞队列一，将所述处理失败数据放入阻塞队列二；其中，

当所述阻塞队列一的数据量达到所述阻塞队列一的消息数量阈值，则通过写入线程一读取所述阻塞队列一的所述处理成功数据，将所述处理成功数据导入数据库；当所述阻塞队列二的数据量达到所述阻塞队列二的消息数量阈值，则通过写入线程二读取所述阻塞队列二的处理失败数据，将所述处理失败数据导入数据库。

2.根据权利要求1所述的基于多线程的数据导入方法，其特征在于，在所述通过读取主线程获取消息数据，并将所述消息数据放入队列缓存池中的步骤之后，还包括队列缓存池消息数量判定过程，所述队列缓存池消息数量判定过程包括：

判定所述队列缓存池的消息数量是否达到队列缓存池的消息数量阈值；

若是，则读取主线程停止读取文件，进入通过两个以上的读取子线程从所述队列缓存池中同时读取设定数量的所述消息数据步骤；

若否，则读取主线程继续获取消息数据，并将所获取的消息数据放入所述队列缓存池。

3.根据权利要求1所述的基于多线程的数据导入方法，其特征在于，在所述读取主线程通过读取文件获取消息数据之前，还包括数据量判定过程；所述数据量判定过程包括：

若判定所述文件的消息数据总量小于所述队列缓存池的消息数量阈值，则所述读取主线程直接读取所述文件的全部消息数据，并对所读取的消息数据进行数据转化和数据校验；

将校验合格的消息数据导入数据库中。

4.根据权利要求2所述的基于多线程的数据导入方法，其特征在于，所述队列缓存池的消息数量阈值根据实际服务器内存和处理数据的速度进行设定。

5.根据权利要求1所述的基于多线程的数据导入方法，其特征在于，所述读取主线程读取文件的方式包括read_table函数和read_csv函数；其中，所述read_table函数用于读取文本文件；所述read_csv函数用于读取csv、tsv、txt、xls和xlsx文件。

6.根据权利要求1所述的基于多线程的数据导入方法，其特征在于，在各读取子线程将本线程内的校验合格的消息数据按照是否符合预先设定的校验条件分为处理成功数据和处理失败数据的步骤中，所述校验条件为非空校验、身份证号码规则校验和手机号码规则校验中的一种或几种。

7.一种基于多线程的数据导入系统，其特征在于，包括消息数据获取单元、数据校验单元、阻塞队列读取单元和消息数据导入单元；其中，

所述消息数据获取单元，通过读取主线程获取消息数据，并将所述消息数据放入队列缓存池中；

所述数据校验单元，用于通过两个以上的读取子线程从所述队列缓存池中同时读取设定数量的所述消息数据；各读取子线程并行对本线程所读取的所述消息数据进行数据转化和数据校验；

所述阻塞队列读取单元，各读取子线程将本线程内的校验合格的消息数据按照是否符合预先设定的校验条件分为处理成功数据和处理失败数据；将所述处理成功数据放入阻塞队列一，将所述处理失败数据放入阻塞队列二；

所述消息数据导入单元，用于当阻塞队列一的数据量达到阻塞队列一的消息数量阈值，则通过写入线程一读取阻塞队列一的所述处理成功数据，将所述处理成功数据导入数据库；当阻塞队列二的数据量达到阻塞队列二的消息数量阈值，则通过写入线程二读取阻塞队列二的所述处理失败数据，将所述处理失败数据导入数据库。