[发明专利]缩略句理解模型的训练方法及系统

权利要求书

1.一种缩略句理解模型的训练方法，包括：

接收对话训练数据集，所述对话训练数据集包括：用户连续请求的第一轮完整语句、第二轮缩略语句，以及用于表示所述第二轮缩略语句的目标完整语句；

构建基于encoder-decoder框架的缩略句理解模型，所述缩略句理解模型包括encoder-编码层以及decoder-解码层，其中，所述缩略句理解模型用于将省略句还原为完整语句；

将所述第一轮完整语句、所述第二轮缩略语句作为所述encoder-编码层的输入，通过自注意力机制确定出所述第二轮缩略语句的第二句子特征向量；

确定所述第一轮完整语句中每个词语的第一词特征向量，基于所述第一词特征向量以及所述第二句子特征向量，确定所述第二轮缩略语句与所述第一轮完整语句的关系特征向量，作为所述encoder-编码层的输出；

所述decoder-解码层基于所述关系特征向量，生成所述第二轮缩略语句的模拟完整语句，基于所述模拟完整语句以及所述目标完整语句对所述缩略句理解模型进行训练，以将所述模拟完整语句趋近所述目标完整语句；

其中，所述通过自注意力机制确定出所述第二轮缩略语句的句子特征向量包括：

通过自注意力机制输出所述第一轮完整语句、所述第二轮缩略语句中每个词语的特征向量，其中，所述词语的特征向量包括所述词语与其他词语之间的关系信息；

基于所述第二轮缩略语句中所有词语的特征向量，确定所述第二轮缩略语句的句子特征向量。

2.根据权利要求1所述的方法，其中，所述基于所述第二轮缩略语句中所有词语的特征向量，确定所述第二轮缩略语句的句子特征向量包括：

通过对所述第二轮缩略语句中所有词语的特征向量求平均，确定出所述第二轮缩略语句的句子特征向量。

3.根据权利要求1所述的方法，其中，所述确定所述第一轮完整语句中每个词语的第一词特征向量，基于所述第一词特征向量以及所述第二句子特征向量，确定所述第二轮缩略语句与所述第一轮完整语句的关系特征向量包括：

将所述第二句子特征向量与所述第一词特征向量进行注意力计算，得到多个所述第二轮缩略语句与所述第一轮完整语句的子关系特征向量；

将所述多个子关系特征向量进行拼接，得到关系特征向量。

4.一种缩略句理解模型的训练系统，包括：

数据接收程序模块，接收对话训练数据集，所述对话训练数据集包括：用户连续请求的第一轮完整语句、第二轮缩略语句，以及用于表示所述第二轮缩略语句的目标完整语句；

模型构建程序模块，用于构建基于encoder-decoder框架的缩略句理解模型，所述缩略句理解模型包括encoder-编码层以及decoder-解码层，其中，所述缩略句理解模型用于将省略句还原为完整语句；

句子特征确定程序模块，用于将所述第一轮完整语句、所述第二轮缩略语句作为所述encoder-编码层的输入，通过自注意力机制确定出所述第二轮缩略语句的第二句子特征向量；

关系特征确定程序模块，用于确定所述第一轮完整语句中每个词语的第一词特征向量，基于所述第一词特征向量以及所述第二句子特征向量，确定所述第二轮缩略语句与所述第一轮完整语句的关系特征向量，作为所述encoder-编码层的输出；

训练程序模块，用于所述decoder-解码层基于所述关系特征向量，生成所述第二轮缩略语句的模拟完整语句，基于所述模拟完整语句以及所述目标完整语句对所述缩略句理解模型进行训练，以将所述模拟完整语句趋近所述目标完整语句；

其中，所述通过自注意力机制确定出所述第二轮缩略语句的句子特征向量包括：

通过自注意力机制输出所述第一轮完整语句、所述第二轮缩略语句中每个词语的特征向量，其中，所述词语的特征向量包括所述词语与其他词语之间的关系信息；

基于所述第二轮缩略语句中所有词语的特征向量，确定所述第二轮缩略语句的句子特征向量。

5.根据权利要求4所述的系统，其中，所述句子特征确定程序模块还用于：

通过对所述第二轮缩略语句中所有词语的特征向量求平均，确定出所述第二轮缩略语句的句子特征向量。