[发明专利]插件化数据报送系统及数据报送方法

说明书

本申请提供一种插件化数据报送系统和一种数据报送方法。所述数据报送系统包括插件库。所述插件库包括多个插件。本申请数据报送系统还包括数据接入组件、数据解析转换组件、数据校验组件以及数据存储组件。当用户通过数据报送系统报送数据时，所述数据接入组件、所述数据解析转换组件、所述数据校验组件以及所述数据存储组件可以调用所述插件库中的目标插件来分别实现数据的接入、解析转换、校验以及存储。

技术领域

本申请涉及信息技术领域，特别涉及插件化数据报送系统以及数据报送方法。

背景技术

数字时代，在监督管理、统计审计等领域都广泛存在着对各种数据的采集报送和管理需求。譬如中国人民银行需要从所监管的银行机构收集数据进行金融数据的汇总统计和监管。地方金融局也需要从所管辖的类金融机构收集数据实现对类金融机构的监管。不同领域不同场景都存在着不同的数据格式、不同的数据报送方式、不同的数据存储方式和不同的报送周期。目前各领域基本都是通过专业定制的方式进行专业开发实现数据的报送，开发周期长、耗费人力财力。比如，传统的数据报送方案是根据用户所报送数据的数据格式内容进行硬编码开发，每当用户需要进行增加修改数据格式、增加数据报送方式或数据存储方式，都需要进行代码开发，耗时费力且维护困难。

发明内容

为解决传统定制化数据报送方式带来的时间人力成本高以及维护困难的技术问题，本申请公开了一种插件化数据报送系统，包括：插件库，包括多个插件；数据接入组件，被配置为接收来自报送端的报文，所述报文包括目标数据；数据解析转换组件，包括至少一个第一插件接口并且被配置为：接收来自所述数据接入组件的所述目标数据，从至少一个解析插件中选择出目标解析插件，将所述目标数据通过所述至少一个第一插件接口发送给所述目标解析插件解析所述目标数据，通过所述至少一个第一插件接口从所述目标解析插件接收所述目标数据经过解析后的解析数据，并且将所述解析数据的格式转换为目标格式；数据校验组件，被配置为对所述解析数据进行校验；以及数据存储组件，被配置为将所述解析数据存储至存储介质的目标存储系统。

在一些实施例中，其中所述至少一个解析插件中的每一个解析插件包括：数据传入接口，其数据输入格式同所述第一插件接口的输出端数据格式对应；以及数据输出接口，其输出的数据格式同所述第一插件接口的输入数据端的数据格式对应。

在一些实施例中，其中所述至少一个解析插件包括Excel解析引擎、CSV流式解析引擎、API数据转换引擎以及XML/DAT格式解析引擎中的至少一个。

在一些实施例中，其中所述数据校验组件包括至少一个第二插件接口，并且被配置为：从至少一个数据校验插件中选择出目标校验插件；将所述解析数据通过所述至少一个第二插件接口发送给所述目标检验插件；以及通过所述至少一个第二插件接口从所述目标校验插件接收校验结果。

在一些实施例中，其中所述目标校验插件依据预设的校验规则对所述解析数据进行校验，其中所述校验规则包括格式校验规则、行内规则校验规则、唯一性校验规则、脚本校验规则以及表间校验规则中的至少一个。

在一些实施例中，其中所述至少一个第二插件接口根据配置信息从所述至少一个校验插件中选择出所述目标校验插件。

在一些实施例中，其中所述数据存储组件包括至少一个第三插件接口，并且被配置为：从至少一个数据存储插件中选择出目标存储插件；将通过校验的数据通过所述至少一个第三插件接口发送给所述目标存储插件；以及通过所述至少一个第三插件接口从所述目标存储插件接收存储结果。

在一些实施例中，其中所述至少一个存储插件包括MySQL数据库存储插件，OceanBase数据库存储插件，HIVE数据库存储插件，Oracel数据库存储插件，SQL Server数据库存储插件，本地文件系统存储插件，网络文件系统NFS存储插件，Hadoop文件系统HDFS存储插件，和对象存储OSS存储插件中的至少一个；以及所述存储结果包括所述目标数据的存储路径。