[发明专利]一种数据快速导入的方法、系统及计算机存储介质

摘要

本发明涉及一种数据文件快速导入的方法、系统及计算机存储介质，其方法包括，基于分布式文件处理机制，将待导入数据文件拆分成多个拆分数据文件；基于多主机节点并行运行，将分布在各主机节点上的拆分数据文件导入数据库中；基于多主机多线程部署并运行运算，对数据库中的所有拆分数据文件进行分析处理，生成多个目标子文件；基于分布式文件处理机制，将所有目标子文件通过分层分级逐步合并，生成多个最终文件；将所有最终文件导入目标数据库中。本发明用分布式文件、多主机节点、多进程、高并发的处理机制将大数据进行拆分—入库—分析处理—合并—导入几个步骤，可以实现大数据的快速导入，提升后台批量数据导入的速度。