[发明专利]一种基于大数据处理框架的任务分类处理方法

权利要求书

1.一种基于大数据处理框架的任务分类处理方法，其特征在于：包括以下步骤：

大数据处理框架接收目标任务；

依据预建立的任务分类模型对所述目标任务进行分类识别得到目标任务的类别标签；

大数据处理框架依据目标任务的类别标签调取对应的类别处理模块对目标任务进行定向处理；

类别处理模块对目标任务的执行过程进行监测，并实时反馈至大数据处理框架直至目标任务处理完成；

所述任务分类模型的构建包括：

获取大数据框架中多个已处理的历史任务，标记出历史任务中主线任务类别和副线任务类别，并对各个所述历史任务进行卷积特征提取得到历史任务的卷积特征图；

对所述历史任务的卷积特征图分别进行主线任务分类全局特征的提取以及副线任务分类全局特征的提取得到适用于主线任务分类的全局向量以及适用于副线任务分类的全局向量；

将主线任务分类的全局向量和副线任务分类的全局向量作为CNN神经网络的输入项，将主线任务类别和副线任务类别作为CNN神经网络的输出项，利用CNN神经网络对CNN神经网络的输入项和CNN神经网络的输出项进行网络训练得到所述任务分类模型；

所述任务分类模型的模型表达式为

[labelA,labelB]=CNN(S_A,S_B)；

式中，labelA为主线任务类别，labelB为副线任务类别，S_A为主线任务分类的全局向量，S_B为副线任务分类的全局向量，CNN为CNN神经网络；

所述任务分类模型的损失包括主线任务的分类损失和副线任务的分类损失，其中，

所述主线任务的分类损失为：

所述副线任务的分类损失为：

式中，LossA、LossB分别为主线任务的分类损失和副线任务的分类损失，CNN_labelA为任务分类模型输出的主线任务类别，real_labelA为历史任务中主线任务类别，CNN_labelB为任务分类模型输出的副线任务类别，real_labelA为历史任务中副线任务类别，

所述任务分类模型的构建还包括：

依次将主线任务分类的全局向量进行主成分提取得到主线任务分类特征主成分向量，以及将副线任务分类的全局向量进行主成分提取得到副线任务分类特征主成分向量，将所述主线任务分类特征主成分向量和副线任务分类特征主成分向量间的相似度作为任务关联损失；

利用梯度下降法基于主线任务分类的分类损失和副线任务分类的分类损失以及任务关联损失对所述任务分类模型进行优化，以提高模型的分类准确率。

2.根据权利要求1所述的一种基于大数据处理框架的任务分类处理方法，其特征在于：利用欧式距离进行所述主线任务分类特征主成分向量和副线任务分类特征主成分向量间的相似度的衡量。

3.根据权利要求2所述的一种基于大数据处理框架的任务分类处理方法，其特征在于：各个所述历史任务的卷积特征图在进行主线任务分类全局特征的提取以及副线任务分类全局特征的提取前进行卷积特征图归一化处理。

4.根据权利要求3所述的一种基于大数据处理框架的任务分类处理方法，其特征在于，所述类别处理模块对目标任务的执行过程进行监测，包括：

类别处理模块将类别处理模块与目标任务无法匹配的任务部分反馈至大数据处理框架，由大数据处理框架重新进行任务分类处理，直至目标任务处理完成。

5.根据权利要求4所述的一种基于大数据处理框架的任务分类处理方法，其特征在于，所述类别处理模块包括主线任务处理模块和副线任务处理模块，主线任务处理模块和副线任务处理模块分别与主线任务类别和副线任务类别一一对应。

6.根据权利要求5所述的一种基于大数据处理框架的任务分类处理方法，其特征在于，所述目标任务包括主线任务类别和副线任务类别中的至少一种，所述主线任务类别包括：Query任务、OLAP任务、Stream任务、Search任务，副线任务类别包括数据清洗任务、分割任务、缓存任务。

7.根据权利要求6所述的一种基于大数据处理框架的任务分类处理方法，其特征在于，所述卷积特征提取的提取网络包括为AlexNet、GoogLeNet、VGGNet或ResNet。