[发明专利]问答对话评测方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术领域，公开了一种问答对话评测方法、装置、设备及存储介质。该方法基于场景信息收集语料，形成基础测试集；根据预置数据处理规则，将基础测试集划分为基础回归测试集和用户问回归测试集；提取基础回归测试集和用户问回归测试集中的特定特征，得到特征数据集合；基于特征数据集合中的每个特定特征进行多维度的特征语料挖掘，得到评测数据集；基于对基础测试集进行快速的语料增强，并通过自动化测试框架，完成了对话机器人的faq问答效果进行自动化测试和结果校验，大大减少的人工测试和标注成本，为对话机器人提供对特定场景形成测试结论提供了可能。此外，本发明还涉及区块链技术，所有测试集可存储于区块链中。

技术领域

本申请涉及人工智能技术领域，具体涉及一种问答对话评测方法、装置、设备及存储介质。

背景技术

随着智能控制技术的发展，对话机器人已作为人工智能技术的重要应用，已经广泛应用于各类具体场景，比如客服、私人助理、知识问答、陪聊等。目前，对话机器人按照用途可分为任务型和非任务型，不同用途的对话机器人的实现技术不太相同。

目前，虽然将对话机器人应用到了各种场景实现无人接触的操作，但是其对话机器人的对话精准度还是需要不断的进行语料更新训练才能提高精准度，对此，则需要使用到模型来测评，但是对于特定场景的就比较难了，由于语料积累尚少，普通的通用语料不能满足模型评测的需求，而通用的语料评测集一般只适用用通用的领域意图识别，无法为特定场景模型调优和业务回归测试提供测试结论，从而导致利用当前技术指标来评价系统的回复质量不够准确。

发明内容

本发明的主要目的是解决现有的对话机器人无法为特定场景模型调优和业务回归测试提供测试结论的技术问题。

本发明第一方面提供了一种问答对话评测方法，所述问答对话评测方法包括：

确定当前对话的场景信息，并基于所述场景信息收集语料，形成基础测试集；

根据预置数据处理规则，将所述基础测试集划分为基础回归测试集和用户问回归测试集；

提取所述基础回归测试集和用户问回归测试集中的特定特征，得到特征数据集合；

基于所述特征数据集合中的每个特定特征进行多维度的特征语料挖掘，得到评测数据集，其中所述多维度包括场景维度、业务领域维度和用户常用问维度中的至少一种；

基于自动化测试框架，将所述评测数据集输入至预置评测模型进行问答对话的测试，得到案例测试结果；

根据所述案例测试结果进行坏案例的分析，输出评测结果。

可选地，在本发明第一方面的第一种实现方式中，所述确定当前对话的场景信息，并基于所述场景信息收集语料，形成基础测试集包括：

获取对话机器人兼容的所有场景的场景信息，基于所述场景信息调取所述对话机器人中的语料文本，其中所述语料文本包括用户日志和业务语料；

提取所述用户日志中记录的用户触发的对话标签，基于所述对话标签对所述业务语料进行聚类，得到不同场景下的基础测试集。

可选地，在本发明第一方面的第二种实现方式中，所述数据处理规则包括数据筛选、预处理和统一格式化，所述根据预置数据处理规则，将所述基础测试集划分为基础回归测试集和用户问回归测试集包括：

获取所述业务语料中的携带用户标识的有效对话标签；

根据所述有效对话标签判断对应的业务语料是否有效，并记录判断的结果；

基于判断的结果，将所述基础测试集中无效的业务语料剔除，并根据所述用户日志中的对话标签筛选出测试语料和用户问语料，生成测试语料集和用户问语料集；