[发明专利]一种多维数据采集的系统及方法

摘要

一种多维数据采集系统及方法，所述系统包括应用管理模块、任务调度模块和任务采集模块；所述应用管理模块，用于在接收到外部应用的新建任务接口的请求数据后，进行对应的请求数据合法性校验，校验通过后，向所述任务调度模块发起新建任务请求；所述任务调度模块，用于在接收到新建任务请求后，将对应的请求数据存储到数据库，新建一张该任务对应的任务采集表；若该任务是定时启动任务，在指定时间到来时，根据对应的请求数据生成所述任务采集模块需要的包括任务启动参数的任务启动命令，并发送给所述任务采集模块；所述任务采集模块，用于在接收到任务启动命令后，根据任务启动参数进行对应的外部数据源的数据采集工作。

主权项

1.一种多维数据采集的系统，其特征在于，所述系统包括应用管理模块、任务调度模块和任务采集模块；/n所述应用管理模块，用于在接收到外部应用的新建任务接口的请求数据后，进行对应的请求数据合法性校验，校验通过后，向所述任务调度模块发起新建任务请求；/n所述任务调度模块，用于在接收到新建任务请求后，将对应的请求数据存储到数据库，新建一张该任务对应的任务采集表；若该任务是定时启动任务，在指定时间到来时，根据任务相关数据生成所述任务采集模块需要的包括任务启动参数的任务启动命令，并发送给所述任务采集模块；/n所述任务采集模块，用于在接收到任务启动命令后，根据任务启动参数进行对应的外部数据源的数据采集工作；/n其中，所述新建任务接口的请求数据包括：任务名称、外部数据源类型、外部数据源连接参数、是否定时开启、任务并发数、抽取方式和抽取频率；所述外部数据源连接参数又包括关系型数据库类型数据源、队列类型数据源和ftp；所述关系型数据库类型数据源包括用户名、密码、端口和数据库url，所述队列类型数据源包括队列url和主题名称，所述ftp包括ftp文件夹url、ftp端口、ftp用户名和ftp密码；/n其中，所述新建任务请求中包括新建任务接口的请求数据；/n其中，所述任务启动参数包括任务ID和新建任务接口的请求数据。/n