[发明专利]测试领域任务型对话系统的方法和装置

说明书

本申请公开了测试领域任务型对话系统的方法和装置。所述方法的一具体实施方式包括：获取领域任务型对话系统输出的询问信息；在预先构建的任务数据库中获取单条任务信息，其中，任务数据库包括但不限于多条任务信息，每一条任务信息包括但不限于多组键值对，每组键值对包括但不限于关键词及关联关键词的实例；向领域任务型对话系统提交由单条任务信息中的键值对生成的答复信息；根据领域任务型对话系统输出的询问信息以及依据任务数据库提交的答复信息，生成对领域任务型对话系统的测试数据。该实施方式向开发人员推送的测试结果较为全面并且富于针对性。

技术领域

本申请涉及计算机技术领域，具体涉及互联网技术领域，尤其涉及测试领域任务型对话系统的方法和装置。

背景技术

在现有技术中，真实用户在进行人机对话时，主观性较强，对于领域任务型对话系统的询问存在不同的查询习惯，因此需要领域任务型对话系统具有较高的语义理解能力。为了保证领域任务型对话系统能够准确识别用户语义，需要对对话系统进行测试。

目前用于测试人机对话系统的技术，通常使用关键词作为查询语句来测试人机对话系统的响应。

然而，目前这种通过关键词查询人机对话系统的响应的测试方式，无法模拟用户答复方式的多样性，因而向开发人员推送的测试结果未能反应出人机对话系统的一些关键测试指标，较为片面并且缺乏针对性。

发明内容

本申请的目的在于提出一种改进的测试领域任务型对话系统的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请提供了一种测试领域任务型对话系统的方法，所述方法包括：获取领域任务型对话系统输出的询问信息；在预先构建的任务数据库中获取单条任务信息，其中，所述任务数据库包括多条任务信息，每一条任务信息包括多组键值对，每组键值对包括关键词及关联所述关键词的实例；向所述领域任务型对话系统提交由所述单条任务信息中的键值对生成的答复信息；根据领域任务型对话系统输出的询问信息以及依据所述任务数据库提交的答复信息，生成对所述领域任务型对话系统的测试数据。

在一些实施例中，所述向所述领域任务型对话系统提交由所述单条任务信息中的键值对生成的答复信息包括：向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息，其中，所述预设用户类型至少包括以下一项或多项：系统引导类型、核对查询类型和随机查询类型。

在一些实施例中，所述向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息至少包括以下一项或多项：若所述预设用户类型包括系统引导类型，向所述领域任务型对话系统提交基于从所述单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息；若所述预设用户类型包括核对查询类型，核对所述询问信息的关键词是否符合上一次提交的答复信息的关键词，若符合，则向所述领域任务型对话系统提交基于从所述单条任务信息中获取的关键词与所述询问信息的关键词相同的键值对生成的答复信息，若不符合，则向所述领域任务型对话系统提交基于上一次答复信息的键值对生成的答复信息；若所述预设用户类型包括随机查询类型，向所述领域任务型对话系统提交基于从所述单条任务信息中随机获取的键值对生成的答复信息。

在一些实施例中，所述向所述领域任务型对话系统提交符合预设用户类型的由所述单条任务信息中的键值对生成的答复信息包括：向所述领域任务型对话系统提交符合所述预设用户类型的由所述单条任务信息中的键值对套用预设的键值对的表达模板之一生成的答复信息。