[发明专利]一种针对大容量Excel文件数据的抽取方法及系统

权利要求书

1.一种针对大容量Excel文件数据的抽取方法，其特征在于，包括：

获取待抽取的Excel文件及对应的磁盘地址；

分别根据所述待抽取的Excel文件以及对应的磁盘地址构建Excel实体对象及数据库中用于存储读取到的Excel数据的数据表；

利用EasyExcel逐条读取Excel实体对象中的数据并记录至内存，将内存中的数据通过基于MySQL JDBC的持久化函数持久化至数据库中，得到抽取后的Excel文件数据；

其中，所述Excel实体对象包括Excel文件中需要抽取的数据。

2.根据权利要求1所述方法，其特征在于，所述利用EasyExcel逐条读取Excel实体对象中的数据并记录至内存，将内存中的数据通过基于MySQL JDBC的持久化函数持久化至数据库中，得到抽取后的Excel文件数据，包括：

S1利用EasyExcel按照设定的批次数量对所述需要抽取的数据进行逐条读取记录至内存，并实时判断已读取数据的数量是否到达设定的批次数量，若是，则停止读取并进入S2，否则进入S3；

S2利用基于MySQL JDBC中的持久化方法对内存中所述设定的批次数量的数据批量持久化至数据库中，清空内存后返回S1；

S3判断已读取数据的数量是否为剩余全部数据的数量，若是，则利用基于MySQL JDBC中的持久化方法逐条持久化至数据库中用于存储读取到的Excel数据的数据表，清空内存，否则返回S1。

3.根据权利要求2所述方法，其特征在于，所述利用基于MySQL JDBC中的持久化方法对内存中所述设定的批次数量的数据批量持久化至数据库中，清空内存，包括：

通过MySQL JDBC建立内存与数据库之间的连接；

基于所述内存与数据库之间的连接，利用MySQL JDBC的内置语句setLocalInfileInputStream将读取后的设定的批次数量的数据对应的字节流转换为字符输入流；

利用持久化函数LOAD DATA LOCAL INFILE语句将设定的批次数量的数据对应的字符输入流批量插入到数据库，并清空内存中的所有数据。

4.根据权利要求2所述方法，其特征在于，所述利用EasyExcel按照设定的批次数量对所述需要抽取的数据进行逐条读取记录至内存，并实时判断已读取数据的数量是否到达设定的批次数量，包括：

利用EasyExcel的SAX模式按照设定的批次数量将所述需要抽取的数据逐条读取为字节流后暂存至内存的字节数组中；

基于设定的批次数量，利用监听器对已读取数据的数量进行实时记录及判断。

5.根据权利要求2所述方法，其特征在于，所述判断已读取数据的数量是否为剩余全部数据的数量，包括：

利用监听器根据剩余全部数据的数量对已读取数据的数量进行判断，若已读取数据的数量与所述剩余全部数据的数量相同时，则已读取数据的数量为剩余全部数据，否则已读取的数量与剩余全部数据的数量不同。

6.根据权利要求1所述方法，其特征在于，所述分别根据所述待抽取的Excel文件以及对应的磁盘地址构建Excel实体对象及数据库中用于存储读取到的Excel数据的数据表，包括：

所述Excel实体对象是根据所述待抽取的Excel文件的内容项及内容项中每一项的数据类型和业务需求构建的；

将所述待抽取的Excel文件数据对应的磁盘地址信息及所述待取的Excel文件信息作为所述数据表的名称，将Excel文件中的行头名称作为所述数据表的字段名称在数据库中构建用于存储读取到的Excel数据的数据表。