[发明专利]一种基于对话框状态跟踪模型的任务外训练系统

权利要求书

1.一种基于对话框状态跟踪模型的任务外训练系统，其特征在于：包括DST模块、辅助任务模块、ITFT模块和MTL模块，所述ITFT模块连接有MTL模块，所述MTL模块连接有DST模块，所述MTL模块连接有辅助任务模块；

所述DST模块用于从用户输入中提取意义和意图，并在对话的继续过程中保留和更新这些信息；

所述辅助任务模块用于支持模型训练；

所述ITFT模块用于将编码器的参数引导到一个有利的方向，以便后续的微调能找到更好的局部最优；

所述MTL模块用于在辅助任务和目标任务之间同时训练相同的模型。

2.根据权利要求1所述的一种基于对话框状态跟踪模型的任务外训练系统，其特征在于：所述DST模块中，DST即对话状态跟踪，使用DST模型Trippy处理数据集，通过Roberta编译器给予bert对片段的区分在对话中的适应性。

3.根据权利要求1所述的一种基于对话框状态跟踪模型的任务外训练系统，其特征在于：所述辅助任务模块中，包括句子和句子对层面的分类任务，所述辅助任务模块采用以下训练约束：辅助任务为分类问题或跨度预测问题；一次只能使用一个辅助任务。

4.根据权利要求1所述的一种基于对话框状态跟踪模型的任务外训练系统，其特征在于：所述ITFT模块为任务微调模块，在两个不相关的任务上连续训练相同的模型，所述两个不相关的任务分别为辅助任务和DST任务。

5.根据权利要求1所述的一种基于对话框状态跟踪模型的任务外训练系统，其特征在于：所述MTL模块为多任务学习模块，对每一步进行DST训练，而且对辅助任务进行额外的训练，在步骤的层次上，训练在辅助任务和目标任务之间交替进行，所述辅助任务和目标任务同享一个优化器，并连续执行连两个更新。