[发明专利]语义效果评估方法以及相关装置

说明书

本申请公开了一种语义效果评估方法以及相关装置，该语义效果评估方法包括：获得待评估对话；其中，待评估对话中包括与用户意图相关的预测文本；将待评估对话输入至多轮对话测试集，利用多轮对话测试集对待评估对话中不同节点的预测文本进行验证；响应于待评估对话中存在至少一个识别错误的错误节点，基于多轮对话测试集对待评估对话中错误节点之后的内容进行重构以获得第一对话；基于第一对话中的所有节点对第一对话进行评估。这样可以采用离线方式对语义效果进行验证，并且在测试过程中遇到语义识别错误的节点时，实时重构错误节点之后的剩余部分，从而能够继续流入到下一节点对下一句对话进行评估，最终完整实现对所有节点语义效果的评估。

技术领域

本申请属于语义理解技术领域，具体涉及一种语义效果评估方法以及相关装置。

背景技术

近年来，随着人工智能技术在自然理解方面取得了巨大的效果，对话系统被越来越广泛的应用于各类工业场景，例如，“语音助手”、“智能音箱”、“智能外呼机器人”等。对话系统按照用途可以大致分为任务型、问答型和闲聊型，按照交互轮数又可以分为单轮对话和多轮对话。多轮对话方式通过与用户多轮的信息交互，可以获取更多更精准的用户交互信息，从而可以为用户提供更多类型、更好体验以及更为复杂的需求。由于多轮对话是需要经过多轮与用户之间的交互之后，最终才达成交互目的，所以对话过程中的对话节点跳转构成了对话流程。对话流程的复杂度与具体对话轮数和业务场景相关，轮数越多，对话中需要交互的信息越多，对话流程往往会设计的越复杂。

对话流程也会根据对话内容的深入划分为不同的对话层，例如：“自我介绍层”、“信息确认层”、“产品介绍层”、“意向获取层”等。不同的对话层包含的意图节点并不一样，所以每一轮交互中用户语义识别的范围也并不一样。特别地，部分意图之间并非存在绝对边界，语义表述范围存在缠绕等问题，往往根据意图优先级进行缠绕意图识别。并且在复杂对话场景下对话过程中不同轮之间存在语义相关和信息继承现象，也给语义识别带来了困难。另外，在进行语义理解效果或者对话流程设计进行优化过程中需要对每次的优化进行A/B测试，对于线上业务量无法满足对每个优化点进行A/B测试的需求，或者在线A/B测试的测试成本高，并且在测试过程中遇到语义识别错误的节点时，无法继续流入到下一节点进行评估。

因此，亟需一种新的语义效果评估方法来解决上述问题。

发明内容

本申请主要解决的技术问题是提供一种语义效果评估方法以及相关装置，以解决在测试过程中遇到语义识别错误的节点时无法继续流入到下一节点进行评估的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种语义效果评估方法，包括：获得待评估对话；其中，所述待评估对话中包括与用户意图相关的预测文本；将所述待评估对话输入至多轮对话测试集，利用所述多轮对话测试集对所述待评估对话中不同节点的预测文本进行验证；响应于所述待评估对话中存在至少一个识别错误的错误节点，基于所述多轮对话测试集对所述待评估对话中所述错误节点之后的内容进行重构以获得第一对话；基于所述第一对话中的所有节点对所述第一对话进行评估。

其中，所述多轮对话测试集基于当前对话中的第一文本和历史对话中的第二文本构建，所述第一文本和所述第二文本为对话中用户的语音文本；所述多轮对话测试集的构建过程包括：获得所述第一文本对应的第一结构化信息；将所述第一结构化信息与每个所述第二文本对应的第二结构化信息进行相似度匹配；响应于所述第一结构化信息与所述第二结构化信息的相似度大于预设阈值，将所述当前对话和所述第二结构化信息对应的历史对话进行组合，以构建所述多轮对话测试集。

其中，所述第一结构化信息包括所述第一文本对应的第一意图标签和第一标记标签树，所述第二结构化信息包括所述第二文本对应的第二意图标签和第二标记标签树；所述将所述第一结构化信息与每个所述第二文本对应的第二结构化信息进行相似度匹配的步骤，包括：基于所述第二结构化信息中的第二意图标签，从所有所述第二结构化信息中获得所述第二意图标签与所述第一意图标签一致的第三结构化信息；将所述第一结构化信息中的第一标记标签树与所述第三结构化信息中的第二标记标签树进行相似度匹配。