[发明专利]一种基于预设计划的数据采集方法和系统

权利要求书

1.一种基于预设计划的数据采集系统，其特征在于，包括：采集计划配置模块、采集任务调度模块、采集任务执行模块以及采集任务监控模块；其中，所述采集计划配置模块对数据采集计划任务进行配置，所述采集任务调度模块对数据采集任务进行调度管理，所述采集任务执行模块执行数据采集任务，所述采集任务监控模块对数据采集任务进行情况监控，即基于计划采集的数据类型，实时监控数据采集进度以及单次采集任务的实时状态，并支持手动启动、中止或重新执行单次采集任务。

2.根据权利要求1所述的一种基于预设计划的数据采集系统，其特征在于，所述采集计划配置模块对数据采集计划任务进行配置，具体包括：

根据数据采集时的实际场景要求，配置数据采集计划任务参数；当所述数据采集计划任务参数发生变更时，实时通知采集任务调度模块，实时同步更新采集任务调度管理规则；对于调度执行异常的任务，推送任务执行异常告警，反馈给采集任务监控模块跟进处理；

所述数据采集计划任务参数包括：数据来源系统、数据对接方式、数据类型、数据内容、数据格式及数据采集触发方式；所述数据采集触发方式，包括事件触发或定时采集两种方式。

3.根据权利要求2所述的一种基于预设计划的数据采集系统，其特征在于，所述采集任务调度模块对数据采集任务进行调度管理，具体包括：

加载配置好的数据采集计划任务参数，解析所述参数并初始化采集任务调度模块按预设的数据采集触发方式执行采集任务的调度管理；单次采集任务调度执行时，实时通知采集任务执行模块，执行任务处理流程。

4.根据权利要求3所述的一种基于预设计划的数据采集系统，其特征在于，所述采集任务执行模块执行数据采集任务，具体包括：

解析所述数据采集计划任务参数，对接数据来源系统的数据接口，解析接口响应数据并提取目标数据内容，保存至本地数据存储系统；

所述采集任务执行模块，还包括异常任务处理机制，具体包括：

异常任务处理机制对单次执行异常的任务进行处理，分析任务执行异常原因，对于通信异常将单次采集任务加入任务重试队列，重新执行采集流程；所述通信异常包括数据接口网络异常。

5.一种基于预设计划的数据采集方法，其特征在于，包括以下步骤：

步骤1，数据采集计划任务参数配置管理；

步骤2，按预设计划进行采集任务调度管理；

步骤3，对接数据来源系统执行目标数据采集；

步骤4，对采集失败的任务进行处理，当判断单个数据采集任务执行失败时，启动异常任务监听处理线程，执行异常任务处理机制。

6.根据权利要求5中所述的一种基于预设计划的数据采集方法，其特征在于，步骤1中所述的数据采集计划任务参数配置管理，包括：

配置数据来源系统，对所有数据来源的业务系统进行配置；

配置数据对接方式，所述对接方式包括：http和tcp/udp的通用传输方式以及JD通用传输和JH专用传输的专用传输方式，根据不同的对接方式，分别配置相应的接口参数；

配置批处理调度规则，支持任务优先级排序，支持对截止时间，周转时间准则的权重进行分配；

配置目标数据类型、数据格式及数据内容；

配置数据内容校验规则；

配置目标数据的数据采集触发方式，包括事件触发或定时采集两种方式；其中，事件触发方式，配置数据采集关联事件，在关联事件处理完成时即时同步采集相应的业务结果数据；定时采集方式，配置数据采集时间及采集频次，按预定规则周期性定时采集数据。