[发明专利]一种互联网监管领域的数据智能提取对接系统

说明书

本发明公开一种互联网监管领域的数据智能提取对接系统，涉及数据处理技术领域，其包括表现层、控制层、逻辑层、数据持久层；在表现层，用户通过可视化页面配置获取第三方数据的接口模板，并动态创建获取第三方数据的定时任务，随后，配置的接口模板和定时任务传送至控制层；控制层接收接口模板的配置信息，并启动定时任务；在逻辑层，首先基于定时任务查找、解析与第三方数据相对应的接口模板，获取第三方数据的请求方式，随后获取第三方数据，再随后基于接口模板解析第三方数据，最后将解析得到的数据导出至数据持久层，进行持久化处理。本发明可以实现与千万个不同接口的对接，提高数据提取效率。

技术领域

本发明涉及数据处理技术领域，具体的说是一种互联网监管领域的数据智能提取对接系统。

背景技术

目前在互联网监管领域采取的技术是接口提供方定义一套接口标准，接口需求方根据该标准开发一套接口对接程序来实现数据的流转；如果有多个接口提供方，那么接口需求方就要开发多套对接程序，当接口量很多的时候接口需求方的开发工作量是巨大的。

发明内容

本发明针对目前技术发展的需求和不足之处，提供一种互联网监管领域的数据智能提取对接系统，实现不同接口数据的提取，提高企业生产效率以及数据获取效率。

本发明的一种互联网监管领域的数据智能提取对接系统，解决上述技术问题采用的技术方案如下：

一种互联网监管领域的数据智能提取对接系统，其包括表现层、控制层、逻辑层、数据持久层；

在表现层，用户通过可视化页面配置获取第三方数据的接口模板，并动态创建获取第三方数据的定时任务，随后，配置的接口模板和定时任务传送至控制层；

控制层接收接口模板的配置信息，并启动定时任务；

在逻辑层，首先基于定时任务查找、解析与第三方数据相对应的接口模板，获取第三方数据的请求方式，随后获取第三方数据，再随后基于接口模板解析第三方数据，最后将解析得到的数据导出至数据持久层，进行持久化处理。

可选的，所涉及表现层包括用户交互模块和模板定制模块；

用户通过模板定制模块来定制接口模板；

用户通过用户交互模块的可视化页面对定制的接口模板进行配置。

可选的，所涉及接口模板的配置信息包括数据获取规则、数据解析规则、数据导出规则和定时规则。

优选的，所涉及控制层通过Hutool框架进行定时任务的动态配置与监听。

可选的，所涉及逻辑层包括定时任务运行模块、数据请求模块、数据解析模块、数据导出模块；

定时任务运行模块用于定时获取第三方数据；

数据请求模块用于根据定时任务查找相对应的接口模板，并进一步解析接口模板的配置信息，获取第三方数据的请求方式；

数据解析模块用于根据接口模板的配置信息解析并处理第三方数据；

数据导出模块用于导出数据解析模块输出的数据，并传送至数据持久层。

进一步可选的，所涉及数据请求模块包括请求分拣单元、请求参数处理单元、请求方式处理单元，其中：

请求分拣单元用于根据定时任务查找相对应的接口模板，并传送至请求参数处理单元；

请求参数处理单元用于解析接口模板的配置信息，并提取配置信息的特征值，随后传送至请求方式处理单元。

请求方式处理单元用于通过配置信息的特征值获取第三方数据的请求方式；

优选的，所涉及数据请求模块还包括数据接收测试单元；