[发明专利]缩略句理解模型的训练方法及系统

说明书

本发明实施例提供一种缩略句理解模型的训练方法。该方法包括：接收对话训练数据集；构建基于encoder‑decoder框架的缩略句理解模型；将第一轮完整语句、第二轮缩略语句作为encoder‑编码层的输入，通过自注意力机制确定出第二轮缩略语句的第二句子特征向量；基于第一词特征向量和第二句子特征向量，确定第二轮缩略语句与第一轮完整语句的关系特征向量；decoder‑解码层基于关系特征向量，生成第二轮缩略语句的模拟完整语句，基于模拟完整语句以及目标完整语句对缩略句理解模型进行训练。本发明实施例还提供一种缩略句理解模型的训练系统。本发明实施例利用神经网络中生成模型，将省略句还原为完整语句，提升缩略句理解模型的理解效果，有效提升用户对对话系统的回复满意率。

技术领域

本发明涉及自然语言处理领域，尤其涉及一种缩略句理解模型的训练方法及系统。

背景技术

自然语言人机交互是当前人工智能发展的热门领域，广泛应用于我们的生活中，比如“陪伴机器人”，“车载语音导航”，“智能家电”等等。在人机交互过程中，用户往往由于习惯，会给出大量缩略句，比如“换成别的吧”，“你觉得呢”，“是不是这样”等等。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

当前大多数对话系统都是单轮对话系统，几乎无法正确理解用户的真实意图。目前主要有两个方案解决用户缩略句问题：1、规则解析；2、多轮统计解析。

规则解析是在设置的规则范围内，不断从用户给出的信息中完善系统所需要的各类信息，当信息累积满足一定条件时，自动完成用户指定的任务。比如“苏州今天天气怎么样”-“南京呢”，规则对话系统根据第一句话切换到封闭领域“天气”(如果没有其他强烈意图，系统会一直保持“天气”模式)。对话系统根据第一句话解析出“地点＝苏州，时间＝今天”，根据这两个信息，回复用户查询结果。当用户说“南京呢”，系统则将解析结果替换为“地点＝南京，时间＝今天”。规则对话系统有两大局限性，一是在封闭领域内有很好的应用效果，但几乎无法推广到开放领域；二是即使在封闭领域也需要人工设置大量规则逻辑，但规则总有覆盖不到的地方。

多轮统计解析是用神经网络算法，根据输入的多轮信息，输出系统回复。这个方案是综合上下文整体信息后给出的回复。但目前端到端(end-to-end)的多轮训练不成熟，还没有达到应用的程度。另外，多轮统计算法除了缩略句问题，还面临“话题转换”，“人物承接”，“态度一致性”等等更富有挑战的问题。

发明内容

为了至少解决现有技术中的缩略句理解模型只用于在封闭领域内，具有局限性，理解效果较差的问题。

第一方面，本发明实施例提供一种缩略句理解模型的训练方法，包括：

接收对话训练数据集，所述对话训练数据集包括：用户连续请求的第一轮完整语句、第二轮缩略语句，以及用于表示所述第二轮缩略语句的目标完整语句；

构建基于encoder-decoder框架的缩略句理解模型，所述缩略句理解模型包括encoder-编码层以及decoder-解码层，其中，所述缩略句理解模型用于将省略句还原为完整语句；

将所述第一轮完整语句、所述第二轮缩略语句作为所述encoder-编码层的输入，通过自注意力机制确定出所述第二轮缩略语句的第二句子特征向量；

确定所述第一轮完整语句中每个词语的第一词特征向量，基于所述第一词特征向量以及所述第二句子特征向量，确定所述第二轮缩略语句与所述第一轮完整语句的关系特征向量，作为所述encoder-编码层的输出；

所述decoder-解码层基于所述关系特征向量，生成所述第二轮缩略语句的模拟完整语句，基于所述模拟完整语句以及所述目标完整语句对所述缩略句理解模型进行训练，以将所述模拟完整语句趋近所述目标完整语句。

第二方面，本发明实施例提供一种缩略句理解模型的训练系统，包括：