[发明专利]多轮对话模型的生成方法、测试方法、装置及电子设备

说明书

本发明实施例提供了一种多轮对话模型的生成方法、测试方法、装置及电子设备，其中方法包括：获取与多轮对话模型对应的测试语料集，测试语料集包含多个测试语料子集，各个测试语料子集分别与多轮对话模型中的各个测试对话路径对应，测试子集包括与各个对话节点对应的作为用户答复的测试语料，使用多个测试语料子集，分别对多轮对话模型进行测试，如果多轮对话模型的对话流与对应的测试对话路径出现偏差，则执行报错处理。本发明实施例使用预先构建测试语料集来对各个测试对话路径进行分别测试，并在对话流出现偏差时报错，能够精确定位到出现偏差的对话节点，并且每个测试对话路径单独对应一套测试语料子集，从而能够对多轮对话模型进行全面测试。

技术领域

本申请涉及一种多轮对话模型的生成方法、测试方法、装置及电子设备，属于计算机技术领域。

背景技术

对话工厂(Dialog Studio，简称DS)技术允许按照既定的话术套路设计用户与机器人之间的对话，通过填槽技术(Slot Filling)，机器人可以与用户在对话中完成业务流程处理。当用户与机器人的对话匹配到意图时，机器人会按照预先编排的多轮对话模型来收集所需参数，这里所说的参数是指，机器人为了进行下一步的业务处理而采集的信息，例如，当确认用户有订票意图时，需要进一步采集用户的身份信息、出发时间、出发目的地等信息，这些就是订票业务处理所需的参数。当意图的全部参数收集完毕，机器人会调用意图处理逻辑中配置的服务来进行业务处理，例如由机器人完成订单查询、退货、订票等业务处理。

在多轮对话模型的开发过程中，需要对开发出的多轮对话模型进行测试，以对多轮对话进行不断完善。机器人与用户的每一个对话回合称作一轮对话，要采集业务处理所需要的参数需要通过多轮对话来实现。现有技术中，开发人员采用都是单轮手动测试，即开发人员会针对每一轮的对话中机器人提问模拟输入用户答复，来测试会话流是否朝向预设的分支跳转。但是，由于多轮对话分支较多，测试工作量非常巨大，并且容易疏漏。并且，单轮对话无法从对话流的角度去测试多轮对话模型是否完善。

发明内容

本发明实施例提供一种多轮对话模型的生成方法、测试方法、装置及电子设备，以实现对多轮对话模型进行全面精确的测试。

为了实现上述目的，本发明实施例提供了一种多轮对话模型的生成方法，包括：

确定待优化的多轮对话模型，该多轮对话模型包括多个对话节点，每个对话节点包括预设的机器人提问以及根据用户答复而执行的处理动作；

根据用户配置数据生成用于对多轮对话模型进行优化测试的测试语料集；

使用该测试语料集对所述多轮对话模型的各个对话路径进行测试，以对所述多轮对话模型进行优化。

本发明实施例还提供了一种多轮对话模型的测试方法，包括：

为用户提供语料生成的配置界面；

响应于用户在配置界面的配置信息，生成测试语料集；

使用该测试语料集，对多轮对话模型进行测试。

本发明实施例还提供了一种多轮对话模型的测试方法，包括：

获取多轮对话模型中的测试对话路径；

根据测试对话路径上的各个对话节点中的机器人提问，从测试语料集中获取用户答复并进行回复；

判断形成的对话流与所述测试对话路径是否存在偏差，如果存在偏差，则执行报错处理。

本发明实施例还提供了一种多轮对话模型的测试方法，包括：