[发明专利]一种数据下载方法、装置、计算机设备和存储介质

权利要求书

1.一种数据下载方法，其特征在于，所述方法包括如下步骤：

接收下载请求，获取下载请求中携带的目标任务标识；

根据所述目标任务标识从预先配置的下载任务数据表中获取目标任务元数据；

根据所述目标任务元数据以及所述下载请求生成对应的下载任务；

定时执行所述下载任务，从搜索引擎中获取目标数据，并将所述目标数据导入到预设格式的文件中，以供下载，其中所述搜索引擎中的数据包括从业务系统获取的实时数据；

所述方法还包括搜索引擎的数据写入过程，包括：

实时数据采集系统将从业务系统采集到的实时业务数据发送至消息队列中，通过所述消息队列将所述实时业务数据写入所述搜索引擎；和/或，

离线抽数采集系统将从业务系统的数据库中抽取到的离线业务数据发送至hive中，通过所述hive将所述离线业务数据写入所述搜索引擎；

所述方法还包括：

在根据所述目标任务元数据以及所述下载请求生成对应的下载任务后，将所述下载任务存储至预先构建的下载任务实例表中；

对所述下载任务实例表中的下载任务进行分析，获取分析结果，以实现对下载任务的监控，以及根据分析结果对下载任务的配置数据进行调整。

2.一种数据下载装置，其特征在于，所述装置包括：

标识获取模块，用于接收下载请求，获取下载请求中携带的目标任务标识；

数据匹配模块，用于根据所述目标任务标识从预先配置的下载任务数据表中获取目标任务元数据；

任务生成模块，用于根据所述目标任务元数据以及所述下载请求生成对应的下载任务；

数据获取模块，用于定时执行所述下载任务，从搜索引擎中获取目标数据，并将所述目标数据导入到预设格式的文件中，以供下载，其中所述搜索引擎中的数据包括从业务系统获取的实时数据；

所述装置还包括数据写入模块，所述数据写入模块包括：

第一写入单元，用于实时数据采集系统将从业务系统采集到的实时业务数据发送至消息队列中，通过所述消息队列将所述实时业务数据写入所述搜索引擎；

第二写入单元，用于离线抽数采集系统将从业务系统的数据库中抽取到的离线业务数据发送至hive中，通过所述hive将所述离线业务数据写入所述搜索引擎；

所述装置还包括：

任务存储模块，用于在根据所述目标任务元数据以及所述下载请求生成对应的下载任务后，将所述下载任务存储至预先构建的下载任务实例表中；

任务分析模块，用于对所述下载任务实例表中的下载任务进行分析，获取分析结果，以实现对下载任务的监控，以及根据分析结果对下载任务的配置数据进行调整。

3.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1所述方法的步骤。

4.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1所述的方法的步骤。