[发明专利]一种无服务器FaaS架构税务大数据系统

说明书

本发明公开了一种无服务器FaaS架构税务大数据系统，包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块。本发明不再需要重复造轮子，需要什么功能直接集成调用即可，也无需考虑整体的性能，只专注于业务代码的实现；基于容器技术，更容易横向扩张；自动化的弹性扩展、减少了打包和部署的复杂度、可以快速发布上线；基于函数，更容易发现程序的BUG和更容易解决BUG,提高解决问题的效率。

技术领域

本发明属于大数据领域，尤其涉及一种无服务器FaaS架构税务大数据系统。

背景技术

目前大数据项目开发整个流程是：开发人员必须手动在各个物理节点上安装大数据平台软件栈Hadoop、Hbase、Spark、Storm,Kafka等；开发人员通过各中脚本语言或编程语言(如Scala,Java，Shell等)开发ETL、机器学习；开发人员将编译后的代码打包成jar或war文件上传到服务器上，通过shell脚本、spark命令或应用服务器运行jar/war程序。

但是大数据平台多为开源组件，版本多而杂，组件间及操作系统的依赖很重，平台的迁移和升级问题一直是开源软件最大的痛，集群规模的扩张和运维费时费力，严重影响工作效率；另一方面：大数据ETL开发，机器学习脚本多，语言多，同时又是海量数据，迭代计算，造成异常数据、异常处理困难重重，海量数据抽取和机器学习中迭代计算时经常发现OOM的问题或磁盘空间不足导致运行程序出错，造成开发人员必须重新申请资源或者通过删除历史日志等处理方法去解决问题，造成效率低下和重复工作。

发明内容

本发明的目的在于克服现有技术存在的以上问题，提供一种无服务器FaaS架构税务大数据系统，避免效率低下和重复工作。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种无服务器FaaS架构税务大数据系统，包括依次连接的客户端、处理系统、API网关、抽取系统、HDFS；

所述处理系统包括增值税发票数据处理模块、普通发票数据处理模块、电子发票数据处理模块、商品分类处理模块、进销项处理模块；

所述抽取系统包括增值税发票数据抽取模块、普通发票数据抽取模块、电子发票数据抽取模块、商品分类信息抽取模块、进销项信息抽取模块；

所述增值税发票数据处理模块用于工作人员对来自客户端的增值税发票数据进行处理并发送至API网关；普通发票数据处理模块用于工作人员对来自客户端的普通发票数据进行处理，并形成增值税发票处理数据发送至API网关；电子发票数据处理模块用于工作人员对来自客户端的电子发票数据进行处理，并形成电子发票处理数据发送至API网关；商品分类处理模块用于工作人员对来自客户端的商品分类数据进行处理，并形成商品分类处理数据发送至API网关；进销项处理模块用于工作人员对来自客户端的进销项数据进行处理，并形成进销项处理数据发送至API网关；

所述增值税发票数据抽取模块用于对API网关中的增值税发票处理数据进行抽取并发送至HDFS；普通发票数据抽取模块用于对API网关中的普通发票处理数据进行抽取并发送至HDFS；电子发票数据抽取模块用于对API网关中的电子发票处理数据进行抽取并发送至HDFS；商品分类信息抽取模块用于对API网关中的商品分类处理数据进行抽取并发送至HDFS；进销项信息抽取模块用于对API网关中的进销项处理数据进行抽取并发送至HDFS。

进一步地，所述抽取系统采用FaaS函数进行数据抽取。

本发明的有益效果是：