[发明专利]支持分布式多文件导入的系统及方法

说明书

本发明公开了一种支持分布式多文件导入的系统及方法，系统包括服务层、业务处理层以及数据库，所述服务层，为用户体现了服务的接口；所述业务处理层，对业务数据进行处理；所述数据库，记录导入服务的一些基础数据，并保存文件的临时数据，文件数据读取出来后都保存在数据库中，后续的数据验证，导入都直接操作数据库数据；本发明的方法的支持对文件的传输，数据读取、数据验证、数据结构化、数据传输、文件保存。以满足对文件数据的识别、导入，而且该服务是独立的，不会对系统的客户端或服务端造成任何的影响。

技术领域

本发明涉及对多文件处理的研究领域，特别涉及一种支持分布式多文件导入的系统及方法。

背景技术

随着信息化的发展，各企业间都出现了各种功能的企业化软件，数据导入是数据的重要来源。随着数据量的积累，需要导入的数据量也越来越大，这些数据有可能是以文档的方式保存，如excel文档、csv文档、word文档、txt文档等等。软件对文档进行数据读取，对数据进行验证，转换数据结构，把数据批量插入到数据库，形成系统数据。

目前对于数据文件的导入实现方法主要是两种：

在客户端读取文件数据，对数据进行验证后形成结构化的数据，将数据传输到服务端，对数据进行批量插入。该实现方法对于数据量小的文件，在客户端进行读取验证是完全没问题；但是如果对于大文件的数据导入，在进行文件数据读取时会消耗客户端的大量资源，导致系统卡顿、不能正常使用，甚至系统内存溢出导致系统崩溃。

在服务端进行大文件数据的读取，通常服务器的配置较好。对于单个大文件数据读取，相对于服务器资源占用较少，不会对服务器造成影响；但同时(并发)处理多个大文件数据读取时，则会占用服务器大量的资源，有可能直接影响其他客户端对于系统的使用，影响系统使用体验。如果对于占用的资源不能及时的释放，可能最终导致服务器崩溃，对系统的影响更是致命的。

针对以上风险，我们需要一种支持分布式多文件导入的方法，以解决对于大文件数据导入的问题。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提供一种支持分布式多文件导入的系统及方法，该方法支持对文件的传输、数据读取、数据验证、数据结构化、数据传输、文件保存。

为了达到上述目的，本发明采用以下技术方案：

本发明的一种支持分布式多文件导入的系统，包括服务层、业务处理层以及数据库，所述服务层，为用户体现了服务的接口；所述业务处理层，对业务数据进行处理；所述数据库，记录导入服务的一些基础数据，并保存文件的临时数据，文件数据读取出来后都保存在数据库中，后续的数据验证，导入都直接操作数据库数据；

所述服务层包括文件保存服务模块、数据读取与验证请求模块、以及目标数据传输模块；所述文件保存服务模块，用于提供给用户上传文件的服务，可单独使用该服务，也可以作为文件服务器，用作保存文件；所述数据读取与验证请求模块，用于用户在完成文件上传后，调用该请求把文件数据读取出来并批量插入到数据库中，并执行验证存储过程以进行数据验证；所述目标数据传输模块，用于在执行完成数据插入后，读取数据并对数据进行结构化整理，并将数据返回给用户；

所述业务处理层包括文件读取组件、消息队列组件、数据验证组件、以及数据库操作组件；所述文件读取组件，用于对多种格式的文档进行读取，并保证读取的组件可扩展；所述消息队列组件，用于根据服务所分配的资源，对服务的使用做限制，同时对并发数根据服务器资源进行配置，当并发数量大于配置数时，服务的请求将进入消息队列，只有之前请求的服务完成文件读取，并释放资源后，请求从消息队列调出并执行请求；所述数据验证组件，用作对数据的验证，数据验证的方法由存储过程实现，而存储过程与数据类别验证的映射关系会保存在数据表中，该组件的最大作用就是处理存储过程与数据类别验证的映射关系，并执行存续过程进行数据验证；所述数据库操作组件，是对数据库访问、操作的类，该服务中所有对数据库的操作最终都会应用该组件进行实现，包括执行数据验证的存储过程。