[发明专利]一种多维数据采集的系统及方法

说明书

一种多维数据采集系统及方法，所述系统包括应用管理模块、任务调度模块和任务采集模块；所述应用管理模块，用于在接收到外部应用的新建任务接口的请求数据后，进行对应的请求数据合法性校验，校验通过后，向所述任务调度模块发起新建任务请求；所述任务调度模块，用于在接收到新建任务请求后，将对应的请求数据存储到数据库，新建一张该任务对应的任务采集表；若该任务是定时启动任务，在指定时间到来时，根据对应的请求数据生成所述任务采集模块需要的包括任务启动参数的任务启动命令，并发送给所述任务采集模块；所述任务采集模块，用于在接收到任务启动命令后，根据任务启动参数进行对应的外部数据源的数据采集工作。

技术领域

本发明涉及系统设计领域，具体涉及一种多维数据采集系统及方法。

背景技术

随着社会和科学技术的发展，数据产生的数量越来越庞大，数据存储方式越来越多样化，越来越多的应用系统需要依赖其他系统产生的数据才能更好的实现自己的功能，这意味着大部分应用需要基于大量的来自不同数据源的数据进行相关功能的实现。不同的业务层应用程序需要各自按照自己的需求去接入不同种的数据源的数据，同时，不同的业务层应用系统可能会接入同种数据源甚至同一来源数据，按照传统的各业务层负责自己业务层的数据源接入方式开发，会导致大量的重复工作，同时接入数据的准确性无法确切保证。

发明内容

为解决上述技术问题，本发明提供一种多维数据采集系统及方法，减少大量非必要的重复数据接入开发工作，并使数据的接入流程可控，准确性可知，接入能力可看。本发明的技术方案如下：

作为本发明的第一方面，提供一种多维数据采集系统，所述系统包括应用管理模块、任务调度模块和任务采集模块；

所述应用管理模块，用于在接收到外部应用的新建任务接口的请求数据后，进行对应的请求数据合法性校验，校验通过后，向所述任务调度模块发起新建任务请求；

所述任务调度模块，用于在接收到新建任务请求后，将对应的请求数据存储到数据库，新建一张该任务对应的任务采集表；若该任务是定时启动任务，在指定时间到来时，根据对应的请求数据生成所述任务采集模块需要的包括任务启动参数的任务启动命令，并发送给所述任务采集模块；

所述任务采集模块，用于在接收到任务启动命令后，根据任务启动参数进行对应的外部数据源的数据采集工作；

其中，所述新建任务接口的请求数据包括：任务名称、外部数据源类型、外部数据源连接参数、是否定时开启、任务并发数、抽取方式和抽取频率；所述外部数据源连接参数又包括关系型数据库类型数据源、队列类型数据源和ftp；所述关系型数据库类型数据源包括用户名、密码、端口和数据库url，所述队列类型数据源包括队列url和主题名称，所述ftp包括ftp文件夹url、 ftp端口、ftp用户名和ftp密码；

其中，所述新建任务请求中包括新建任务接口的请求数据；

其中，所述任务启动参数包括任务ID和新建任务接口的请求数据。

进一步地，所述应用管理模块还用于在接收到外部应用的启动任务接口请求后，校验当前系统是否存在该任务，同时判断该任务是否正在运行，若正在运行，则向外部应用返回“任务正在运行”的提示；若未运行，向所述任务调度模块下发新建任务请求。

进一步地，所述任务调度模块，还用于在接收到应用管理模块的新建任务请求后，判断是否有可用服务器节点，该服务器节点是否有可用内存供所述任务采集模块运行，若有服务器节点且内存充足，则复制任务采集模块可执行程序包在该服务器节点运行并向该程序包发送任务启动命令；若没有服务器节点或者内存不足，则向所述任务采集模块返回“资源不足”的提示。

进一步地，所述任务采集模块，还用于在接收到所述任务调度模块发送的任务启动命令后，解析任务启动命令中的任务启动参数并执行该任务，每 n秒(默认10秒)发送一次心跳信息给所述任务调度模块以告知任务正常运行，并上报采集过程记录数据给所述任务调度模块；