[发明专利]用于多任务场景的网络结构构建方法和装置

说明书

本申请涉及人工智能,提供了一种用于多任务场景的网络结构构建方法、装置、设备和存储介质，包括：获取训练集，将各个目标语义任务对应的训练子文本数据分步输入待确定网络结构的多任务网络模型，得到各个目标语义任务对应的子预测结果，调整多任务网络模型的网络参数，直到得到与当前网络结构对应的当前目标网络参数；获取多任务网络模型对应的搜索空间，获取验证集，通过搜索可微网络搜索空间调整当前目标网络参数对应的多任务网络模型的结构参数,搜索时将多任务网络模型的隐含状态向量分为多个有序的子隐含状态向量，直到多任务网络模型在验证集上的输出结果满足收敛条件，得到目标结构参数，得到已训练的多任务网络模型。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种用于多任务场景的网络结构构建方法、装置、计算机设备和存储介质。

背景技术

机器学习(ML，Machine Learning)是人工智能的一个分支，机器学习的目的是让机器根据先验的知识进行学习，从而具有分类和判断的逻辑能力。以神经网络为代表的机器学习模型不断发展，被越来越多地应用到各个行业中。

多任务学习机制在现代的人工智能产品应用方面有很广泛的应用。多任务指需要对输入针对不同的任务得到对应的识别结果，原始的解决方案是每个子任务训练一个模型，经过部署后，每个模型都要训练一次，训练耗时，预测速度慢，且由工程师们自己手动尝试不同的神经网络架构，然后根据验证集的表现确定目标架构。由于多任务场景的网络架构学习的复杂性，很难人工设计出非常好的神经网络结构。传统的模型结构自动搜索方法主要针对分类问题，无法直接应用于多任务场景的模型结构自动搜索。通过人工不断尝试的方法构建多任务场景的模型结构，复杂度高，效率低，系统资源占用率大。

发明内容

基于此，有必要针对上述技术问题，提供一种用于多任务场景的网络结构构建方法、装置、计算机设备和存储介质，自动发现最适合已有的多任务场景数据集的网络架构，通过部分链接有效降低可微分搜索时的资源消耗，使得搜索收敛更快更稳定，提高效率和降低系统资源占用率。

一种用于多任务场景的网络结构构建方法，所述方法包括：

获取训练集，所述训练集包括多个不同目标语义任务对应的训练子样本,训练子样本包括训练子文本数据和训练子标签数据；

将各个目标语义任务对应的训练子文本数据分步输入待确定网络结构的多任务网络模型，得到各个目标语义任务对应的子预测结果，根据子预测结果与对应的训练子标签数据的差异调整所述多任务网络模型的网络参数，直到得到与当前网络结构对应的当前目标网络参数；

获取所述多任务网络模型对应的搜索空间，形成可微网络搜索空间，获取验证集，根据所述验证集通过搜索可微网络搜索空间调整所述当前目标网络参数对应的多任务网络模型的结构参数,搜索时将所述多任务网络模型的隐含状态向量分为多个有序的子隐含状态向量，按预设顺序获取当次搜索对应的子隐含状态向量，将子隐含状态向量输入对应的网络层进行训练，得到更新的多任务网络模型，返回将各个目标语义任务对应的训练子文本数据分步输入待确定网络结构的多任务网络模型的步骤，直到多任务网络模型在所述验证集上的输出结果满足收敛条件，得到目标结构参数，获取与目标结构参数匹配的网络参数，根据所述目标结构参数和匹配的网络参数得到已训练的多任务网络模型。

在其中一个实施例中，所述搜索可微网络搜索空间通过以下共享方式中的至少一种：

所述可微网络搜索空间中多头注意力的矩阵参数共享；

所述多任务网络模型的池化层的搜索时，基于胶囊网络的多个操作符，共享映射网络的参数；

获取所述多任务网络模型的节点间的连接关系，将具有同一个起始节点的节点组成节点集合，不同节点集合中的节点对应的操作符进行参数共享。