[发明专利]一种新型的基于BERTCONTEXT的多轮对话自然语言理解模型

权利要求书

1.一种新型的基于BERTCONTEXT的自然语言理解模型，包括如下步骤：

S1.将两个任务的数据通过loader加载器加载到模型中,模型总的输入为D＝[D1,D2]。

S2.数据输入到BERT模型分类需要将原始数据转换为数据的id,数据的类别label和掩码mask，多个任务和单个任务一样，分别将数据转为对映的id,label,mask，模型的输入的total_id,total_label,total_mask是每一个任务id，label,mask的在size方向的连接，其中长度，选取最大的长度，剩余的长度不足的会补0.total_id＝[id_a,id_b],total_label＝[label_a,label_b],total_mask＝[mask_a,mask_b]；

S3.模型预训练阶段，在原有BERT模型单分类，根据数据的id改写为两个任务的分类，D[0-m]、D[m、m+n]分别是第一个任务、第二个任务的数据，经过同一个模型，共享得到的浅层网络的语义信息相同用Y表示，在进行分类的时候对每一个任务的语义信息单独拉出来进行分类任务的执行；

S4.将加载的历史文本信息context[Ui-1,Ri-1]通过BERT模型得到的语义信息c_o，会与当前对话Ui的语义信息s_o链接在一起来，拼接后的语义信息为C_h＝[c_1,1,…,c_1,m+n]。

S5.其中用C_h[0-m]、C_h[m：]分别表示第一个任务、第二个任务的语义数据来分别进行两项任务的分类；在分类的模型中，为了平衡数据，我们将交叉熵损失函数改为focal loss损失函数来进行分类，数据的输入为C_h[0-m]、C_h[m：]参数变量为Wn1，Wn2，则经过BERT的decoder层的softmax函数,得到每一个分类任务中的分类标签的概率数值P；

S7.对每一个任务中取最大的概率pi，其下标对应的意图为通过模型训练得到的意图；

S8.将真实的意图和模型推理得到的意图进行统计，计算每一个多分类任务的准确度accuracy_i；

S9.按多个任务数据集的数量分配权重wi，每一个多分类任务的准确率乘权重wi，得到整个模型的分类准确率Accuracy。