[发明专利]自动化外呼测试方法、装置、计算机设备及存储介质

权利要求书

1.一种自动化外呼测试方法，其特征在于，包括：

通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；

计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；

根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；

根据所述意图识别结果，得到测试结果；

所述对话流测试包括生产阶段测试；

当处于所述生产阶段测试时，所述获取外呼系统的测试数据，包括：

将实际生产工作中的工作数据作为外呼系统的测试数据；

所述得到各个对话节点的意图识别结果，包括：

计算各个对话节点的节点访问率、节点挂断率和节点重试率，并根据所述节点访问率、所述节点挂断率和所述节点重试率的预设指标，确定关键节点，并根据所述关键节点，确定关键路径，并根据所述关键路径进行所述对话流测试；

当处于所述生产阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

将所述外呼系统和客户之间的每一句对话都打上相应的客户标签和意向标签，根据正态分布对所述客户标签和所述意向标签进行优化分析，以确定客户对当前版本的外呼系统的支持度和置信度；

根据所述支持度和所述置信度，计算提升度，并根据所述提升度评估当前版本的外呼系统。

2.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，包括：

获取测试设备配置的处理器的核心数，根据所述核心数计算得到所述任务组数，并生成与所述任务组数相同的线程。

3.根据权利要求1所述的自动化外呼测试方法，其特征在于，所述对话流测试包括测试阶段测试；

当处于所述测试阶段测试时，所述得到各个对话节点的意图识别结果，包括：

获取各个所述对话节点的话术池，并识别各个所述对话节点的意图量；

根据所述话术池和所述意图量，分别计算每个对话节点的回复准确率和兜底率，以及整个对话流的回复准确率和兜底率。

4.根据权利要求3所述的自动化外呼测试方法，其特征在于，所述分别计算每个对话节点的回复准确率和兜底率，包括：

从测试日志中获取所述对话节点的意图量、回复话术准确量和兜底量；

所述回复准确率的计算表达式为：

；

式中，y为所述回复准确率，M为所述意图量，W为所述回复话术准确量；

所述兜底率的计算表达式为：

；

式中，Z为所述兜底率，X为所述兜底量。

5.根据权利要求3所述的自动化外呼测试方法，其特征在于，当处于所述测试阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

将计算得到所述整个对话流的回复准确率和兜底率分别与预设的对应目标值进行对比，以确定当前版本的所述外呼系统是否可以上线工作。