[发明专利]支持分布式多文件导入的系统及方法

权利要求书

1.一种支持分布式多文件导入的系统，其特征在于，包括服务层、业务处理层以及数据库，所述服务层，为用户体现了服务的接口；所述业务处理层，对业务数据进行处理；所述数据库，记录导入服务的一些基础数据，并保存文件的临时数据，文件数据读取出来后都保存在数据库中，后续的数据验证，导入都直接操作数据库数据；

所述服务层包括文件保存服务模块、数据读取与验证请求模块、以及目标数据传输模块；所述文件保存服务模块，用于提供给用户上传文件的服务，可单独使用该服务，也可以作为文件服务器，用作保存文件；所述数据读取与验证请求模块，用于用户在完成文件上传后，调用该请求把文件数据读取出来并批量插入到数据库中，并执行验证存储过程以进行数据验证；所述目标数据传输模块，用于在执行完成数据插入后，读取数据并对数据进行结构化整理，并将数据返回给用户；

所述业务处理层包括文件读取组件、消息队列组件、数据验证组件、以及数据库操作组件；所述文件读取组件，用于对多种格式的文档进行读取，并保证读取的组件可扩展；所述消息队列组件，用于根据服务所分配的资源，对服务的使用做限制，同时对并发数根据服务器资源进行配置，当并发数量大于配置数时，服务的请求将进入消息队列，只有之前请求的服务完成文件读取，并释放资源后，请求从消息队列调出并执行请求；所述数据验证组件，用作对数据的验证，数据验证的方法由存储过程实现，而存储过程与数据类别验证的映射关系会保存在数据表中，该组件的最大作用就是处理存储过程与数据类别验证的映射关系，并执行存续过程进行数据验证；所述数据库操作组件，是对数据库访问、操作的类，该服务中所有对数据库的操作最终都会应用该组件进行实现，包括执行数据验证的存储过程。

2.根据权利要求1所述的一种支持分布式多文件导入的系统，其特征在于，所述文件读取组件是对txt文件、excel文件、csv文件、word格式文件的读取。

3.根据权利要求1所述的一种支持分布式多文件导入的系统，其特征在于，所述数据库为轻量级数据库，选用Mysql数据库或者微软的Access。

4.一种支持分布式多文件导入的方法，其特征在于，包括下述步骤：

S1、请求文件保存服务，对文件进行上传，完成上传后，把文件记录保存到数据库中；

S2、请求数据读取与数据验证：

S2.1、收到请求后，服务首先根据当前请求的用户数判断是否超过配置的最大数量，如果大于则把请求插入到消息队列中，等待前面请求的用户完成后，才能处理请求；

S2.2、数据读取与插入数据库，调用文件读取组件，读取文件的数据，并根据读取出来的数据结构在数据库中生成对应的临时表，将数据批量插入到临时表中，并释放读取文件的资源；具体的：

以数据表格式从文档中读取出数据，数据表包括了数据行与数据列，根据数据列的数量定义临时表，表名和栏位名称的定义由规则定义在数据库中生成物理表，并在数据库中记录文件名与数据表的映射关系、文件数据栏位与临时表栏位的映射关系，然后把数据都插入到临时表中，完成数据库对文件数据的存储，同时根据该结构生成一个记录异常数据的数据表，最后释放读取文件的资源；

S2.3、根据请求中的数据类型，根据映射关系找到该数据类型的数据验证存储过程，并调用存储过程，将不符合规范的数据抽取到数据错误的验证表，并在临时表中删除这些数据；具体为：

在确定数据要求与数据格式的情况下，通过数据库存储过程对数据进行验证筛选，数据验证的存储过程通过创建历史表时产生的映射关系，可以确定表结构的信息，根据验证的规则，把异常数据抽取到对应的异常数据表，其中在生成临时表的同时生成了对应的异常数据表；

S3、最终数据的返回，读取验证之后的数据，并返回最终的数据给用户，用户可以直接拿到数据做批量插入，从而完成文件数据导入；

S4、完成数据导入后，删除导入服务的临时数据、临时表结构、临时配置数据。

5.根据权利要求4所述支持分布式多文件导入的方法，其特征在于，步骤S3中，在读取验证的数据时，进行分批次读取，每批次读取N条数据，数据数可配置。

6.根据权利要求4所述支持分布式多文件导入的方法，其特征在于，步骤S3中，还包括下述步骤：

把数据转换成用户指定的数据结构，所述数据结构是与数据格式相对应的实体。