[发明专利]一种多源海量数据处理系统及方法

权利要求书

1.一种多源海量数据处理系统，其特征在于，包括计算模块和任务管理模块，其中：

所述计算模块用于接收多源海量数据，并调取数据接收服务解析所述多源海量数据；所述多源海量数据是根据预先在所述任务管理模块中配置的任务所产生的开源数据；其中，数据接收服务对第三方开源数据平台所有的多源海量数据都能够进行解析，以使所述系统兼容多源海量数据；其中，所述多源海量数据是指来自不同数据来源方的数据；

所述计算模块若接收到外界选择的预设模型的确认动作，将解析后的多源海量数据输入所述预设模型，以供分析所述预设模型的输出结果；

其中，所述计算模块还用于：

识别解析后的多源海量数据对应的任务；其中，识别解析后的多源海量数据对应的任务是指识别当前接收并解析的多源海量数据是由预先配置的哪项任务产生的；

根据识别结果标记所述解析后的多源海量数据，建立任务与预设模型的对应关系，以供外界根据标记结果选择所述预设模型；其中，所述任务是产生所述多源海量数据的任务；其中，以供外界根据所述标记结果选择所述预设模型是指以供外界根据任务与预设模型的对应关系，在确定某一任务时，选择与该任务匹配的预设模型。

2.根据权利要求1所述的系统，其特征在于，所述数据接收服务是基于Impala SQL语言和开发环境Spark预先开发的。

3.根据权利要求1所述的系统，其特征在于，所述预设模型是从预先建立的预设模型库中选择的。

4.根据权利要求3所述的系统，其特征在于，所述预设模型库包括人工智能学习系统tensorflow和Python集成。

5.根据权利要求1所述的系统，其特征在于，所述任务管理模块还用于：

监控任务执行的运行状态。

6.根据权利要求1所述的系统，其特征在于，所述任务管理模块还用于：

统计分析预设时段内的指定任务和/或所有任务的日志记录。

7.一种多源海量数据处理方法，其特征在于，包括：

接收多源海量数据，并调取数据接收服务解析所述多源海量数据；所述多源海量数据是根据预先配置的任务所产生的开源数据；其中，数据接收服务对第三方开源数据平台所有的多源海量数据都能够进行解析，以便兼容多源海量数据；其中，所述多源海量数据是指来自不同数据来源方的数据；

若接收到外界选择的预设模型的确认动作，将解析后的多源海量数据输入所述预设模型，以供分析所述预设模型的输出结果；

所述方法还包括：

识别解析后的多源海量数据对应的任务；其中，识别解析后的多源海量数据对应的任务是指识别当前接收并解析的多源海量数据是由预先配置的哪项任务产生的；

根据识别结果标记所述解析后的多源海量数据，建立任务与预设模型的对应关系，以供外界根据标记结果选择所述预设模型；其中，所述任务是产生所述多源海量数据的任务；其中，以供外界根据所述标记结果选择所述预设模型是指以供外界根据任务与预设模型的对应关系，在确定某一任务时，选择与该任务匹配的预设模型。

8.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中：

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求7所述的方法。

9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使计算机执行如权利要求7所述的方法。