[发明专利]用于生成多任务模型的方法、装置、设备、介质和程序

权利要求书

1.一种用于生成多任务模型的方法，包括：

获取多任务模型的配置文件，其中，所述配置文件包括共享配置信息、任务说明、每个任务的配置信息；

根据每个任务的任务配置信息确定所述多任务模型的输入层和任务层；

根据共享配置信息确定所述多任务模型的共享层；

根据确定出的输入层、共享层和任务层构建多任务模型；

按照所述任务说明中任务的顺序选取样本，训练所述多任务模型。

2.根据权利要求1所述的方法，其中，所述根据每个任务的任务配置信息确定所述多任务模型的输入层和任务层，包括：

根据每个任务的任务配置信息中的任务类型确定所述多任务模型的数据读入方法，其中，所述任务类型包括以下至少一种：分类、匹配、序列标注；

根据所述数据读入方法选择输入层的网络结构；

根据每个任务的任务类型选择每个任务的任务层的网络结构。

3.根据权利要求1所述的方法，其中，所述根据共享配置信息确定所述多任务模型的共享层，包括：

根据共享配置信息选择预训练模型，其中，所述预训练模型包括：BERT或ERNIE。

4.根据权利要求1所述的方法，其中，所述根据共享配置信息确定所述多任务模型的共享层，包括：

根据共享配置信息设置所述多任务模型的学习率。

5.根据权利要求4所述的方法，其中，所述方法还包括：

设置至少一种学习率，得到至少一种多任务模型；

将模型质量最好的多任务模型保存到共享配置信息指定的地址。

6.根据权利要求1所述的方法，其中，所述训练所述多任务模型，包括：

根据所述共享配置信息中的是否更新共享层参数选项控制训练过程中所述共享层的参数更新。

7.根据权利要求1所述的方法，其中，所述训练所述多任务模型，包括：

根据每个任务的配置信息中的是否更新任务层参数选项控制训练过程中每个任务层的参数更新。

8.根据权利要求1-7中任一项所述的方法，其中，所述方法还包括：

根据共享配置信息中的验证配置信息选择验证数据，对训练完成的多任务模型进行评估；

根据评估结果调整所述多任务模型的超参数。

9.一种用于生成多任务模型的装置，包括：

获取单元，被配置成获取多任务模型的配置文件，其中，所述配置文件包括共享配置信息、任务说明、每个任务的配置信息；

第一确定单元，被配置成根据每个任务的任务配置信息确定所述多任务模型的输入层和任务层；

第二确定单元，被配置成根据共享配置信息确定所述多任务模型的共享层；

构建单元，被配置成根据确定出的输入层、共享层和任务层构建多任务模型；

训练单元，被配置成按照所述任务说明中任务的顺序选取样本，训练所述多任务模型。

10.根据权利要求9所述的装置，其中，所述第一确定单元进一步被配置成：

根据每个任务的任务配置信息中的任务类型确定所述多任务模型的数据读入装置，其中，所述任务类型包括以下至少一种：分类、匹配、序列标注；

根据所述数据读入装置选择输入层的网络结构；

根据每个任务的任务类型选择每个任务的任务层的网络结构。

11.根据权利要求9所述的装置，其中，所述第二确定单元进一步被配置成：

根据共享配置信息选择预训练模型，其中，所述预训练模型包括：BERT或ERNIE。

12.根据权利要求9所述的装置，其中，所述第二确定单元进一步被配置成：

根据共享配置信息设置所述多任务模型的学习率。