[发明专利]对话纠错方法、装置和电子设备

说明书

本申请提供一种对话纠错方法、装置和电子设备，通过字粒度语言模型对句子进行隐层加权处理，得到所述句子的隐层加权组合向量；之后，将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果，由于，本发明实施例的字粒度语言模型是使用大量无标注数据进行训练得到，其目的是为了用于增强标注数据较少的语法诊断模型的语法诊断正确性，这种学习训练字粒度语言模型可以有效地提升语法诊断模型的标注效果和泛化能力，并且在实际中具有可行性和易用性。

技术领域

本发明涉及对话纠错技术领域，尤其涉及一种对话纠错方法、装置和电子设备。

背景技术

随着互联网的发展，基于人工智能技术的虚拟机器人在企业用户服务领域的应用越来越广泛。机器人客服不需要休息，可以更加快速和标准化的响应用户的问题，以语音对话或文字聊天的形式与用户进行沟通，将人工客服从大量重复性问答中解放出来。

在用户和客服机器人的对话场景中，例如，用户输入的句子可能包含语法错误，比如，输入的时候多打了字，也就是冗余，由于下游的对话、翻译模型基本是使用比较规范的语料训练的，这些语法的错误会对这些翻译模型产生很大的不良影响，比如重复冗余的输入，就会使得翻译模型重复翻译，大大影响翻译文本的可读性。

为了提高用户和客服机器人的对话纠错性能，现有技术使用语法错误诊断模型提前发现这些错误，再根据模型判断的错误类型对句子进行重构，但是，由于现有的语法错误诊断模型只依赖人工标注的训练数据，而这些人工标注的训练数据数量比较少，使得现有的语法错误诊断模型的纠错性能和泛化能力大大降低。

发明内容

为了解决上述问题，本发明提供一种对话纠错方法、装置和电子设备，可以增强标注数据较少的语法诊断模型的语法诊断正确性。

本申请提供一种对话纠错方法，包括：

将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；

将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权组合向量；

将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果。

可选地，所述的方法，还包括：

将所述句子的隐层加权组合向量输入到所述语法诊断模型，得到所述句子的上下文表示向量，对所述所述句子的上下文表示向量经过前向网络打分，计算得到最佳序列路径；

根据所述最佳序列路径，反向还原得到所述句子的语法诊断结果。

可选地，所述的方法，还包括：

使用无标注文本数据训练所述字粒度语言模型，输出所述字粒度语言模型的中间隐层表示，所述中间隐层表示包括多层隐层表示；

在保持所述字粒度语言模型的参数不更新时，使用标注的语法诊断数据训练所述中间隐层表示的加权组合参数和所述字粒度语言模型的参数。

可选地，所述的方法，还包括：

将所述句子表示为字的序列，对所述句子中的每个字，根据对映关系，经过字向量矩阵，得到所述句子的字向量序列；

所述句子的字向量序列输入到所述字粒度语言模型，得到所述句子的多层的隐层表示。

可选地，所述的方法，还包括：

对所述句子的多层隐层表示进行隐层加权求和得到所述句子的隐层加权向量；

对所述句子的多层隐层表示根据自注意力机制进行自注意力处理得到所述句子的自注意力向量；

将所述句子的隐层加权向量和自注意力向量拼接得到所述句子的多层隐层表示的加权组合向量。

本申请还提供一种对话纠错装置，包括：