[发明专利]问答对话评测方法、装置、设备及存储介质

权利要求书

1.一种问答对话评测方法，其特征在于，所述问答对话评测方法包括：

确定当前对话的场景信息，并基于所述场景信息收集语料，形成基础测试集；

根据预置数据处理规则，将所述基础测试集划分为基础回归测试集和用户问回归测试集；

提取所述基础回归测试集和用户问回归测试集中的特定特征，得到特征数据集合；

基于所述特征数据集合中的每个特定特征进行多维度的特征语料挖掘，得到评测数据集，其中所述多维度包括场景维度、业务领域维度和用户常用问维度中的至少一种；

基于自动化测试框架，将所述评测数据集输入至预置评测模型进行问答对话的测试，得到案例测试结果；

根据所述案例测试结果进行坏案例的分析，输出评测结果。

2.根据权利要求1所述的问答对话评测方法，其特征在于，所述确定当前对话的场景信息，并基于所述场景信息收集语料，形成基础测试集包括：

获取对话机器人兼容的所有场景的场景信息，基于所述场景信息调取所述对话机器人中的语料文本，其中所述语料文本包括用户日志和业务语料；

提取所述用户日志中记录的用户触发的对话标签，基于所述对话标签对所述业务语料进行聚类，得到不同场景下的基础测试集。

3.根据权利要求2所述的问答对话评测方法，其特征在于，所述数据处理规则包括数据筛选、预处理和统一格式化，所述根据预置数据处理规则，将所述基础测试集划分为基础回归测试集和用户问回归测试集包括：

获取所述业务语料中的携带用户标识的有效对话标签；

根据所述有效对话标签判断对应的业务语料是否有效，并记录判断的结果；

基于判断的结果，将所述基础测试集中无效的业务语料剔除，并根据所述用户日志中的对话标签筛选出测试语料和用户问语料，生成测试语料集和用户问语料集；

根据预设的基础测试数据和用户问测试数据对应的数据格式，分别对测试语料集和用户问语料集进行格式化处理，得到基础回归测试集和用户问回归测试集。

4.根据权利要求1所述的问答对话评测方法，其特征在于，所述提取所述基础回归测试集和用户问回归测试集中的特定特征，得到特征数据集合包括：

采用keyword工具依次对基础回归测试集和用户问回归测试集中的业务语料进行关键词的提取，得到基础数据特征关键词集和用户问关键词集，并确定两个关键词集中每个关键词对应的特征向量；

统计每个业务语料中包含的特征向量的数量，基于所述数量确定所述业务语料的质量，并分别对所述基础回归测试集合和用户问回归测试集中的业务语料进行排序，选择两个测试集中排序靠前的N个业务语料对应的特征向量；

基于所述N个业务语料对应的特征向量挑选出对应的特定特征，形成特征数据集合。

5.根据权利要求4所述的问答对话评测方法，其特征在于，在所述基于所述N个业务语料对应的特征向量挑选出对应的特定特征，形成特征数据集合之后，还包括：

提取所述用户日志中所记录的用户在问答对话过程中的对话操作信息，其中，所述对话操作信息至少包括以下中的一种：首次点击问答搜索的时间间隔、最后一次点击与初次问答搜索的时间间隔、用户更改用户问后搜索持续时间、首次点击的位置、最后一次点击的位置、搜索后的总点击次数、用户在搜索后是否紧随着更换了一个相似用户问进行搜索、在搜索结果中翻页的次数；

根据所述对话操作信息，将所述N个业务语料对应的特征向量进行归一化后构成所述特征数据集合。

6.根据权利要求1-5任一项所述的问答对话评测方法，其特征在于，所述基于自动化测试框架，将所述评测数据集输入至预置评测模型进行问答对话的测试，得到案例测试结果包括：

若所述评测数据集为用户问测试集时，从所述用户问测试集中随机挑选M个用户问输入至评测模型中进行用户问的评分和答案的匹配预测，得到预测结果；

统计所述预测结果中分别被预测为正类和负类的用户问的数量，并基于所述数量计算所述评测模型的预测指标，其中，所述预测指标包括准确率、精确率、召回率和纠错率中的至少一种。