[发明专利]对话纠错方法、装置和电子设备

权利要求书

1.一种对话纠错方法，包括：

将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；

将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权向量；对所述句子的多层隐层表示根据自注意力机制进行自注意力处理得到所述句子的自注意力向量；将所述句子的隐层加权向量和自注意力向量拼接得到所述句子的多层隐层表示的加权组合向量；

将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果；

所述方法还包括：使用无标注文本数据训练所述字粒度语言模型，输出所述字粒度语言模型的中间隐层表示，所述中间隐层表示包括多层隐层表示；在保持所述字粒度语言模型的参数不更新时，使用标注的语法诊断数据训练所述中间隐层表示的加权组合参数和所述字粒度语言模型的参数。

2.根据权利要求1所述的方法，还包括：

将所述句子的隐层加权组合向量输入到语法诊断模块，得到所述句子的上下文表示向量，对所述所述句子的上下文表示向量经过前向网络打分，计算得到最佳序列路径；

根据所述最佳序列路径，反向还原得到所述句子的语法诊断结果。

3.根据权利要求1所述的方法，还包括：

将所述句子表示为字的序列，对所述句子中的每个字，根据对映关系，经过字向量矩阵，得到所述句子的字向量序列；

所述句子的字向量序列输入到所述字粒度语言模型，得到所述句子的多层的隐层表示。

4.一种对话纠错装置，包括：

隐层处理模块，用于将句子输入到字粒度语言模型，得到所述句子的多层隐层表示；

加权组合模块，用于将所述句子的多层隐层表示进行加权组合，得到所述句子的隐层加权向量；对所述句子的多层隐层表示根据自注意力机制进行自注意力处理得到所述句子的自注意力向量；将所述句子的隐层加权向量和自注意力向量拼接得到所述句子的多层隐层表示的加权组合向量；

语法诊断模块，用于将所述句子的隐层加权组合向量进行语法诊断，得到所述句子的语法诊断结果；

所述装置还包括：训练模块，用于使用无标注文本数据训练所述字粒度语言模型，输出所述字粒度语言模型的中间隐层表示，所述中间隐层表示包括多层隐层表示；在保持所述字粒度语言模型的参数不更新时，使用标注的语法诊断数据训练所述中间隐层表示的加权组合参数和所述字粒度语言模型的参数。

5.根据权利要求4所述的装置，所述语法诊断模块具体用于：

将所述句子的隐层加权组合向量输入到所述语法诊断模块，得到所述句子的上下文表示向量，对所述所述句子的上下文表示向量经过前向网络打分，计算得到最佳序列路径；

根据所述最佳序列路径，反向还原得到所述句子的语法诊断结果。

6.根据权利要求4所述的装置，所述隐层处理模块具体还用于：

将所述句子表示为字的序列，对所述句子中的每个字，根据对映关系，经过字向量矩阵，得到所述句子的字向量序列；

所述句子的字向量序列输入到所述字粒度语言模型，得到所述句子的多层的隐层表示。

7.一种电子设备，包括：存储器、处理器以及通信组件；

所述存储器，用于存储计算机程序；

所述处理器与所述存储器和通信组件耦合，用于执行计算机程序，以用于执行权利要求1-3中任一项所述的方法。

8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被执行时能够实现权利要求1-3中任一项所述的方法。