[发明专利]一种优化模型的生成方法和设备

说明书

本发明实施例提出了一种优化模型的生成方法和设备，该方法包括：获取训练数据；将训练数据组织；将用户问题类型与知识库中问题类型通过第一字符拼接成整体，并在整体的首尾分别加入第二字符与第一字符作为输入；基于输入使用BERT进行建模得到编码后的向量；选择第二字符对应的向量作为特征向量；将特征向量分别输入用于文本相似度计算的第一全连接层与用于意图分类的第二全连接层；基于文本相似度得分与意图分类得分以及联合第一全连接层与第二全连接层的模型的损失函数对模型进行训练；从训练得到的模型中选择F1值最高的模型作为最佳模型。本方案提高模型文本匹配的性能。

技术领域

本发明涉及模型训练技术领域，具体涉及一种优化模型的生成方法和设备。

背景技术

文本匹配任务是检索式问答系统中的核心任务，通过计算用户问题与知识库中问题的匹配度，返回用户问题对应的最佳答案。其中，BERT(一种语言模型)模型是基于大规模语料预训练的双向语言模型，通过微调可迁移至文本匹配任务。目前基于BERT模型微调是文本匹配任务的主流方法。

但是目前检索式问答系统中的文本匹配模型直接将用户问题作为输入，没有充分利用用户问题隐含的意图信息，这导致准确率不够。

因此，需要有一种更好的方法来解决现有技术中的问题。

发明内容

本发明提供一种优化模型的生成方法和设备，能够解决现有技术中准确率的技术问题。

本发明解决上述技术问题的技术方案如下：

本发明实施例提出了一种优化模型的生成方法，包括：

获取训练数据；

将所述训练数据组织成用户问题、知识库中问题、用户问题的意图类别标签和相似度类别标签；

将所述用户问题类型与所述知识库中问题类型通过第一字符拼接成整体，并在所述整体的首尾分别加入第二字符与所述第一字符作为输入；

基于所述输入使用BERT进行建模得到编码后的向量；

选择所述第二字符对应的所述向量作为特征向量；

将所述特征向量分别输入用于文本相似度计算的第一全连接层与用于意图分类的第二全连接层，以得到文本相似度得分与意图分类得分；

基于所述文本相似度得分与所述意图分类得分以及联合第一全连接层与第二全连接层的模型的损失函数对所述模型进行训练；

从训练得到的模型中选择F1值最高的模型作为最佳模型。

在一个具体的实施例中，所述文本相似度得分通过以下公式确定：

y_similarity＝Softmax(F_similarity(h_i))；

其中，y_similarity为所述文本相似度得分；h_i为特征向量；F_similarity为用于文本相似度计算的第一全连接层。

在一个具体的实施例中，所述意图分类得分通过以下公式确定：

y_intent＝Softmax(F_intent(h_i))；

其中，y_intent为所述意图分类得分；h_i为特征向量；F_intent为用于意图分类的第二全连接层。

在一个具体的实施例中，所述损失函数为: