[发明专利]自动化外呼测试方法、装置、计算机设备及存储介质

说明书

本发明涉及测试技术领域，提供一种自动化外呼测试方法、装置、计算机设备及存储介质，该方法包括：通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；根据测试设备的处理器配置，将各个所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；根据所述意图识别结果，得到测试结果。使得多个节点的测试任务可以并行执行，大大提高测试效率。

技术领域

本发明涉及自动化测试领域，尤其涉及一种自动化外呼测试方法、装置、计算机设备及存储介质。

背景技术

目前的银行系统中，会使用自动外呼系统来进行业务的推广操作，但是外呼系统因为是通过人工智能识别然后从既定的语音库中挑选语句反馈给客户，因此存在效率低的问题，为此需要通过高效率的测试来测试出自动外呼系统的缺陷，以使得开发人员可以更好的改进。现有的智能外呼系统测试技术方案是测试人员为要测试的对话流的节点编写脚本，配置话术和话术预期匹配的意图，然后进行单元测试，这种测试没有足够的测试集，且测试不够全面，缺乏生产环节对流程的自动化测试和针对性分析，并且因为语音包含的意图众多，所以其分支众多，当前的测试方式效率低下，使用时间过长，大大拖延了开发改进的进度。

发明内容

第一方面，本申请提供了一种自动化外呼测试方法，包括：

通过对话流测试，获取外呼系统的测试数据，所述测试数据包括对话流中的多个对话节点以及对应的对话语句；

计算所述对话节点的数量，以确定针对每个对话节点的对话语句进行意图识别任务的数量；

根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，并通过生成相应数量的线程，以并行执行各个所述意图识别任务，从而得到各个对话节点的意图识别结果；

根据所述意图识别结果，得到测试结果。

进一步的，所述根据测试设备的处理器配置，将所有所述意图识别任务分为多个并行任务组，通过生成相应数量的线程，包括：

获取测试设备配置的处理器的核心数，根据所述核心数计算得到所述任务组数，并生成与所述任务组数相同的线程。

进一步的，所述对话流测试包括测试阶段测试；

当处于所述测试阶段测试时，所述得到各个对话节点的意图识别结果，包括：

获取各个所述对话节点的话术池，并识别各个所述对话节点的意图量；

根据所述话术池和所述意图量，分别计算每个对话节点的回复准确率和兜底率，以及整个对话流的回复准确率和兜底率。

进一步的，所述分别计算每个对话节点的回复准确率和兜底率，包括：

从测试日志中获取所述对话节点的意图量、回复话术准确量和兜底量；

所述回复准确率的计算表达式为：

；

式中，y为所述回复准确率，M为所述意图量，W为所述回复话术准确量；

所述兜底率的计算表达式为：

；

式中，Z为所述兜底率，X为所述兜底量。

进一步的，当处于所述测试阶段测试时，所述根据所述意图识别结果，得到测试结果，包括：

将计算得到的回复准确率和兜底率分别与预设的对应目标值进行对比，以确定当前版本的所述外呼系统是否可以上线工作。

进一步的，所述对话流测试包括生产阶段测试；