[发明专利]一种基于预设计划的数据采集方法和系统

说明书

本发明公开了一种基于预设计划的数据采集方法和系统，包括：采集计划配置模块对数据采集计划任务进行配置，采集任务调度模块对数据采集任务进行调度管理，采集任务执行模块执行数据采集任务，采集任务监控模块对数据采集任务进行情况监控，本发明基于预设计划，进行数据采集任务调度管理，按需按计划采集目标数据，同时兼顾数据采集实时性；能够动态调整数据采集规则，对数据采集计划的变更，实时同步更新采集任务调度规则；对于单次执行异常任务，设计采用异常任务处理机制，提升数据采集成功率；设计采用采集任务实时监控机制，实时监控数据采集进度及采集任务实时状态，并对异常任务进行跟进处理。

技术领域

本发明涉及一种数据采集方法和系统，特别是一种基于预设计划的数据采集方法和系统。

背景技术

所谓数据采集，是为了满足数据统计、数据分析等数据应用需要，获取和汇集各种数据的过程。数据采集是数据应用的起点和源头，也是其中的重要环节，直接影响到整体的数据质量，最终的数据应用以及基于数据应用得到的决策与反馈质量也会受到直接影响。

当前，数据采集方法主要集中于业务数据的实时同步或全量采集方式，前者采用业务系统实时通知方式，处理业务数据实时同步；后者主要采用事后批量采集方式，批量采集业务系统中的全部关联数据。

在训练系统中，随着训练进程推进，需要从内部的各个业务子系统以及外部的其他业务系统采集多方面的训练结果数据以及训练过程数据。在保证数据实时同步性基础上，需要兼顾数据采集工作量以及采集效率，有针对性地采集需要的数据，现有技术难以保证数据采集的实时性和有效性。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于预设计划的数据采集方法和系统。

为了解决上述技术问题，本发明公开了一种基于预设计划的数据采集系统，包括：采集计划配置模块、采集任务调度模块、采集任务执行模块以及采集任务监控模块；其中，所述采集计划配置模块对数据采集计划任务进行配置，所述采集任务调度模块对数据采集任务进行调度管理，所述采集任务执行模块执行数据采集任务，所述采集任务监控模块对数据采集任务进行情况监控，即基于计划采集的数据类型，实时监控数据采集进度以及单次采集任务的实时状态，并支持手动启动、中止或重新执行单次采集任务。

所述采集计划配置模块对数据采集计划任务进行配置，具体包括：

根据数据采集时的实际场景要求，配置数据采集计划任务参数；当所述数据采集计划任务参数发生变更时，实时通知采集任务调度模块，实时同步更新采集任务调度管理规则；对于调度执行异常的任务，推送任务执行异常告警，反馈给采集任务监控模块跟进处理；

所述数据采集计划任务参数包括：数据来源系统、数据对接方式、数据类型、数据内容、数据格式及数据采集触发方式；所述数据采集触发方式，包括事件触发或定时采集两种方式。

所述采集任务调度模块对数据采集任务进行调度管理，具体包括：

加载配置好的数据采集计划任务参数，解析所述参数并初始化采集任务调度模块按预设的数据采集触发方式执行采集任务的调度管理；单次采集任务调度执行时，实时通知采集任务执行模块，执行任务处理流程。

所述采集任务执行模块执行数据采集任务，具体包括：

解析所述数据采集计划任务参数，对接数据来源系统的数据接口，解析接口响应数据并提取目标数据内容，保存至本地数据存储系统；

所述采集任务执行模块，还包括异常任务处理机制，具体包括：

异常任务处理机制对单次执行异常的任务进行处理，分析任务执行异常原因，对于通信异常将单次采集任务加入任务重试队列，重新执行采集流程；所述通信异常包括数据接口网络异常。

本发明还提出一种基于预设计划的数据采集方法，包括以下步骤：

步骤1，数据采集计划任务参数配置管理，包括：