[发明专利]一种人机协同的对话系统评测方法及系统

权利要求书

1.一种人机协同的对话系统评测方法，其特征在于，包括：

构建待评测对话系统的对话样本数据集，其中，对所述对话样本数据集中预设数量的样本进行标注；

针对评测数据集中的每条样本，利用置信度评测模型计算其机器评测置信度；

采用回归随机森林模型计算每条样本的人力消耗，其中，所述人力消耗为每条样本标注花费的时间成本；

利用整数线性规划算法，以最大化评测置信度和最小化人力消耗为目标进行优化，根据优化结果将对话样本数据集中的样本分配给人工和机器进行评测，完成对话系统评测；

所述利用整数线性规划算法，将对话样本数据集中的样本分别分配给人工和机器进行评测，具体为：

将最大化评测置信度子目标和最小化人力消耗子目标进行加权融合，构建目标函数；

确定目标函数约束条件，包括分配给人工来评价的数据规模不大于预设数量，人工评测的置信度设置为1，机器评测的人力消耗设置为0；

通过优化求解所述目标函数，确定机器评测和人工评测的分配结果。

2.如权利要求1所述的一种人机协同的对话系统评测方法，其特征在于，所述采用回归随机森林模型计算每条样本的人力消耗，具体为：

基于评测数据集中的每条样本，提取其对话质量特征以及评测人特征；

基于提取到的相关特征，采用回归随机森林进行标注花费时间估计，利用估计的标注花费时间表示人力消耗。

3.如权利要求1所述的一种人机协同的对话系统评测方法，其特征在于，所述对话样本数据集中每条样本包括对话上下文以及待测评对话系统模型生成的回复。

4.如权利要求1所述的一种人机协同的对话系统评测方法，其特征在于，所述置信度评测模型采用最大概率分类模型，通过预测样本中对话系统模型生成的回复是否为恶意回复以及是否带有指定情感进行分类，并根据分类结果的概率作为机器评测置信度。

5.如权利要求1所述的一种人机协同的对话系统评测方法，其特征在于，所述置信度评测模型还可以采用信任得分模型进行计算，通过计算测试数据样本到未预测类别的豪斯多夫距离和数据样本到预测类别的豪斯多夫距离之间的比值，作为机器评测置信度。

6.如权利要求1所述的一种人机协同的对话系统评测方法，其特征在于，所述置信度评测模型还可以采用真实类概率模型进行计算，通过预训练的置信网络对测试数据样本的机器评测置信度进行估计。

7.一种人机协同的对话系统评测系统，其特征在于，包括：

数据集构建单元，其用于构建待评测对话系统的对话样本数据集，其中，对所述对话样本数据集中预设数量的样本进行标注；

机器评测置信度计算单元，其用于针对评测数据集中的每条样本，利用最大概率分类模型计算其机器评测置信度；

人力消耗计算单元，其用于采用回归随机森林模型计算每条样本的人力消耗，其中，所述人力消耗为每条样本标注花费的时间成本；

评测样本分配单元，其用于利用整数线性规划算法，以最大化评测置信度和最小化人力消耗为目标进行优化，根据优化结果将对话样本数据集中的样本分配给人工和机器进行评测，完成对话系统评测；

所述利用整数线性规划算法，将对话样本数据集中的样本分别分配给人工和机器进行评测，具体为：

将最大化评测置信度子目标和最小化人力消耗子目标进行加权融合，构建目标函数；

确定目标函数约束条件，包括分配给人工来评价的数据规模不大于预设数量，人工评测的置信度设置为1，机器评测的人力消耗设置为0；

通过优化求解所述目标函数，确定机器评测和人工评测的分配结果。

8.一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6任一项所述的一种人机协同的对话系统评测方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一项所述的一种人机协同的对话系统评测方法。