[发明专利]一种基于NETTY框架的多类型文件解析上报系统

说明书

本发明提供了一种多类型文件解析上报系统，可以支持多类型文件的及时反馈，并且利用netty框架对上报的高并发做NIO处理。实现对文件的格式校验和数据的校验，对不符合规范的文件，直接打回，上报失败。解决了由于上报文件的不规范引起的文件处理困难、复杂等问题，减少了后续文件人工处理的工作量。

技术领域

本申请涉及信息管理领域，尤其涉及一种多类型文件解析上报系统。

背景技术

现有的大部分上报系统或者上报模块仅仅能满足对数据或者文件的上报工作，并没有对上报文件的可读性、数据的正确性做出及时的校验和反馈，从而会加大运维人员的工作量和对上报数据处理的不方便。

发明内容

本发明专利目的在于提供一种基于netty框架的多类型文件解析上报系统，能够解决由于上报文件的不规范引起的文件处理困难、处理流程复杂等问题，减少后续文件的人工处理工作量。

多类型文件解析上报系统是支持对上报文件的杀毒、解压、可读性校验、数据内容校验，并且能实时的将校验结果反馈给用户，提醒用户规范上报。系统支持xls、xlsx、accdb、dbf、csv、txt、mdb格式文件以及对以上文件类型的压缩文件格式rar、zip。

为了实现上述目的，本发明所采用的技术方案如下：

所述基于netty框架的多类型文件解析上报系统由数据层、服务层、应用层组成。其中：

数据层：负责存储用户上报信息、文件状态信息、文件检测规则。

服务层：采用Spring Cloud微服务架构，负责提供系统的后台接口，与应用层交互，并将产生的业务数据通过jdbc保存到oracle数据库。

应用层：采用vue框架，由登录模块、上报模块、消息通知模块、催报模块组成。负责接收用户的操作请求，并将所述操作请求提交到服务层，接收服务层返回的处理结果。

进一步地，系统利用netty框架对用户上报请求的高并发进行NIO处理，通过选择器机制令单个线程同时监听多个客户端通道，从而实现用户操作的非阻塞响应。

进一步地，当系统需要接收数据时，在堆内存之外开辟一开内存区域，将数据存储在所述内存区域中，利用ByteBuf对数据进行直接操作，加快数据传输速度。

进一步地，数据层中的文件服务器采用HDFS分布式架构，保留系统操作前后的文件版本，支持超大数据文件和高带宽。

进一步地，系统还包括Elk组件，负责系统日志的维护和展示。

进一步地，用户通过登录模块登录系统后，通过上报模块选择文件进行上报，系统通过服务层的上报模块接收到用户的上报请求，并将文件转存在文件服务器中，对该文件进行格式校验和内容检查，将检测结果存储到oracle数据库，并将检测结果和文件异常信息返回给用户。

进一步地，对文件进行内容检查包括：文件损坏检查、文件可读性检查、内容乱码检查、EXCEL最大行检查、表头检查、合并单元格检查、必要列检查、数据重复率检查、文件真实格式检查。

进一步地，系统支持的文件类型包括：xls、xlsx、accdb、dbf、csv、txt、mdb，在用户选择上报文件后提交上报请求前，系统在前端模块要筛选必要的文件要求，包括对文件小大的筛选以及对文件格式的检查。

进一步地，系统还需要对文件进行杀毒操作，若检测结果为病毒文件，则删除文件后返回给前端用户上传文件为病毒文件，流程中终止。若杀毒通过后对文件再次格式校验。针对压缩文件会先解压到指定目录，再进行格式校验。

本发明的有益效果：