[发明专利]一种基于多任务深度网络的多源大数据分析方法

说明书

本发明实施例提供了一种基于多任务深度网络的多源大数据分析方法及系统，所述方法包括：将待分析多源大数据输入训练好的多任务深度网络，得到所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络分类层的前一层具有与所述多个任务一一对应的多个网络参数，用于根据所述分类层前一层的输入特征得到所述分类层中每个分类器的输入特征。在训练得到用于多源大数据分析的多任务深度网络的过程中，将分类层的前一层设为不共享网络参数的特定任务相关层，更好的挖掘了不同任务之间的联系；利用张量正态分布作为先验概率来挖掘特定任务相关层网络参数之间的关系；使得训练后的多任务深度网络对多源大数据的分析更加快速准确。

技术领域

本发明实施例涉及大数据分析技术领域，更具体地，涉及一种基于多任务深度网络的多源大数据分析方法及系统。

背景技术

如今正处于大数据时代，互联网技术在日常生活、学习、工作中应用得越来越广泛，由此产生了大量数据，然而由于数据源多样、记录不规范等原因，数据绝大多数都是像图片、文本、视频等非结构数据，因此针对这类数据的分析和处理的方法就显得尤其重要。这类非结构化数据最大的特点就是缺少标签，而传统的机器学习方法往往需求大量的标记数据，如果强行应用在这类缺少标签的非结构化数据很容易造成过拟合，即很好的拟合了训练数据的特征，但由于泛化能力差在预测数据上表现往往不好。而如今应用广泛的深度神经网络技术，同样需求大量的有标签数据，才能通过大规模分布式并行计算获得理想的准确率。标记数据的稀缺，让人们开始思考新的解决方案：设计通用的算法来减少对标签数据的需求，尤其是利用从相关任务标记数据中挖掘出的现成信息。本发明所属的多任务学习即是基于这个思想：一个任务表现的性能可以通过利用相关任务的知识得到提高，即通过挖掘多源数据的可迁移特征以及任务间的联系满足数据分析的需求。知道任务之间的关系就可以将共享的知识从相关的任务迁移到所学任务中，因此只需要学习与特定任务相关的特征。任务关联的基本想法，激发了以下几种方法的产生：可以学习共享特征表示的多任务特征学习，以及可以学习任务之间固有关系的多任务关系学习。

现有技术可以通过利用外部数据源，学习可转移的特性，并通过这些特性来减少归纳偏差的转移，从而使不同的任务能够更有效地关联起来。但是这些深度多任务学习方法不能很好地将任务关系建模，由于知识不能很好地从不同的分类器中迁移，可能会造成分类器层的负迁移，即迁移的知识对预测不能起到正面的效果。进而造成现有技术中的深度多任务学习方法得到的训练好的多任务深度网络，存在无法对多源大数据进行准确快速的分析的问题。

发明内容

本发明实施例提供了一种克服上述问题或者至少部分地解决上述问题的基于多任务深度网络的多源大数据分析方法及系统。

一方面本发明实施例提供了一种基于多任务深度网络的多源大数据分析方法，所述方法包括：

将待分析多源大数据输入至训练好的多任务深度网络，输出所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络的分类层的前一层具有多个网络参数，且所述多个网络参数与所述多个任务一一对应，所述分类层的前一层用于根据所述多个网络参数和所述分类层前一层的输入特征，得到所述分类层中每个分类器的输入特征。

进一步地，在所述将待分析多源大数据输入至训练好的多任务深度网络之前，所述方法还包括：

获取所述待分析多源大数据对应的训练数据集，并利用所述训练数据集自底向上对所述多任务深度网络的每层网络进行训练，得到每层网络的参数，再利用反向传播算法对每层网络的网络参数进行更新；

重复上述步骤直至预设损失函数的值处于预设范围，得到所述训练好的多任务深度网络。

进一步地，所述预设损失函数为特定任务相关层的网络参数的最大后验估计与所述多任务深度网络的经验损失之和，其中所述特定任务相关层的网络参数的最大后验估计通过以张量正态分布为先验概率对特定任务相关层的网络参数进行最大后验估计得到，所述特定任务相关层包括所述分类层和所述分类层的前一层。