[发明专利]一种数据挖掘方法、系统及相关装置

说明书

本申请提供一种数据挖掘方法，包括：获取挖掘任务；根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；将所述任务结果按预设任务结果分发方式发出.通过编辑数据挖掘工具的执行顺序，利用任务调度执行器按执行顺序调用数据挖掘工具以执行挖掘任务，不必人工筛选数据挖掘工具并手动操作执行，提高研发和运营人员的工作效率，减轻重复问题浪费大量的人力资源成本。本申请还提供一种数据挖掘系统、一种计算机可读存储介质和一种终端，具有上述有益效果。

技术领域

本申请涉及大数据领域，特别涉及一种数据挖掘方法、系统及相关装置。

背景技术

当前信息化浪潮高速发展，各行各业的数据量出现几倍甚至几十倍的增长，特别是电信三大运营商能够收集到的用户网络日志数据量更是暴增。那么如何利用挖掘数据的价值，从这些大量的数据中找寻规律，通过分析得出对社会对企业有实际意义的潜在价值值得深入研究思考。

在实际使用过程中，要处理这些日志数据满足大量的产品需求需要大量的人力和大量的具有重复性的工作，很多需要做的统计工作都是研发人员手动进行统计分析后将结果交给产品部门做分析和产品输出，基于此需要对这些通用性的统计分析数和据挖掘工作做成可视化的定制化系统，运营人员只需了解业务而不需要知道具体技术细节即可使用选定的挖掘工具进行自行排序进行任务执行和结果获取。

发明内容

本申请的目的是提供一种数据挖掘方法、数据挖掘系统、一种计算机可读存储介质和一种终端，能够提高数据挖掘效率，降低人力资源成本。

为解决上述技术问题，本申请提供一种数据挖掘方法，具体技术方案如下：

获取挖掘任务；

根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；

将所述执行顺序以RPC协议提交至任务调度执行器，以使所述任务调度执行器以所述执行顺序运行所述数据挖掘工具，得到任务结果；

将所述任务结果按预设任务结果分发方式发出。

其中，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序之后，还包括：

保存所述挖掘任务、所述数据挖掘工具和所述执行顺序至数据库。

其中，所述预设任务结果分发方式包括将任务结果存至目标数据库、将所述任务结果写入客户方ftp和将所述任务结果以表格形式发送至目标邮箱中任一种或任几种的组合。

其中，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序包括：

根据所述挖掘任务的任务名和任务源数据利用web应用设置数据挖掘工具的执行顺序。

其中，根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序之前，还包括：

获取调用权限；

则根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序包括：

确定所述调用权限内的可操作数据挖掘工具；

根据所述挖掘任务的任务名和任务源数据设置所述可操作数据挖掘工具的执行顺序。

本申请还提供一种数据挖掘系统，包括：

获取模块，用于获取挖掘任务；

任务编排器，用于根据所述挖掘任务的任务名和任务源数据设置数据挖掘工具的执行顺序；