[发明专利]一种基于大数据处理框架的任务分类处理方法

说明书

本发明公开了一种基于大数据处理框架的任务分类处理方法，包括以下步骤：大数据处理框架接收目标任务；依据预建立的任务分类模型对所述目标任务进行分类识别得到目标任务的类别标签；大数据处理框架依据目标任务的类别标签调取对应的类别处理模块对目标任务进行定向处理。本发明在主线任务的分类中引入了副线任务的信息，并通过设计合理的神经网络模型将这些主线任务信息和副线任务信息引入了分类分支，从而提高了任务分类模型的判别能力，更好地区分相似度较高的任务类别，降低信息量上的局限性，提高目标任务类别的识别准确，提高分类精度。

技术领域

本发明涉及大数据处理技术领域，具体涉及一种基于大数据处理框架的任务分类处理方法。

背景技术

大数据处理框架负责对大数据系统中的数据进行计算(管理和处理)的框架系统。数据包括从持久存储中读取的数据或通过消息队列等方式接入到系统中的数据，而计算则是从数据中提取信息的过程。现在每种大数据计算框架都支持多种的大数据计算类型，例如支持Query的SQL运算基本每个大数据计算框架都支持，就是没有直接支持的也可以使用间接的方式实现。那么也就意味着一种类型的大数据计算请求是可以把请求发送到多个大数据处理框架进行执行，只是每个框架执行的效率及方式不同，此时大家基本都是通过输入、输出、性能、使用资源等全盘考虑，择优选择。其他类型的大数据处理也是如此例如OLAP、流计算、搜索查询、图计算、机器学习等。在大数据平台上每个大数据处理框架往往背后都带有一个默认指定的兼容较好的大数据存储框架，那么在大数据平台上实现不同类型的大数据处理运算，把任务提交到某个框架上，往往需要的数据源一部分来自持久存储的大数据存储框架或者其他存储框架或者消息队列方式接入的流数据，其他的数据源都是来至大数据处理框架，因为其背后都带有存储框架，此时大数据处理框架就成了数据源。正如前面提到的每个任务具体使用哪个框架是通过输入、输出、性能、使用资源等全盘考虑，择优选择。如果要在一个应用程序系统中可以针对相同类型的任务使用不同的处理框架，需要对每个处理框架逐一实现，而且当提交任务的时候需要涉及大量关于执行框架的信息，如果需要对每个大数据处理框架的支持，这样客户端就比较庞大臃肿，为此可用任务分类处理方法来解决以上问题。

现有技术中使用机器学习模型对目标任务的任务类别进行识别，但目前用于目标任务类别识别的机器学习模型受目标任务信息量的限制，存在识别不准确，分类精度较低的问题。

发明内容

本发明的目的在于提供一种基于大数据处理框架的任务分类处理方法，以解决现有技术中目标任务类别识别的机器学习模型受目标任务信息量的限制，存在识别不准确，分类精度较低的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种基于大数据处理框架的任务分类处理方法，包括以下步骤：

大数据处理框架接收目标任务；

依据预建立的任务分类模型对所述目标任务进行分类识别得到目标任务的类别标签；

大数据处理框架依据目标任务的类别标签调取对应的类别处理模块对目标任务进行定向处理；

类别处理模块对目标任务的执行过程进行监测，并实时反馈至大数据处理框架直至目标任务处理完成。

作为本发明的一种优选方案，所述任务分类模型的构建包括：

获取大数据框架中多个已处理的历史任务，标记出历史任务中主线任务类别和副线任务类别，并对各个所述历史任务进行卷积特征提取得到历史任务的卷积特征图；

对所述历史任务的卷积特征图分别进行主线任务分类全局特征的提取以及副线任务分类全局特征的提取得到适用于主线任务分类的全局向量以及适用于副线任务分类的全局向量；