[发明专利]用于评测会话机器人智能的方法及设备

权利要求书

1.一种用于评测会话机器人智能的方法，包括：

根据会话机器人的配置信息确定配置指标的配置质量；

其中，所述配置信息包括：意图配置信息、表达配置信息以及服务配置信息，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注以及表达配置信息的服务触发；

针对四个配置指标分别设置相应的权重值，根据各配置指标的配置质量及其权重值综合衡量会话机器人智能水平；

根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或

根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或

根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。

2.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中的意图与其对应的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量；和/或

根据会话机器人的配置信息中的对应不同意图的表达之间的相似度确定会话机器人的意图配置信息的意图设置的配置质量。

3.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中的表达实体标注的正确程度确定会话机器人的表达配置信息的实体标注的配置质量；和/或

根据会话机器人的配置信息中的表达实体标注的数量确定会话机器人的表达配置信息的实体标注的配置质量。

4.如权利要求1所述的方法，所述根据会话机器人的配置信息确定配置指标的配置质量的步骤包括：

根据会话机器人的配置信息中未曾触发服务的表达配置信息确定会话机器人的表达配置信息的服务触发的配置质量。

5.如权利要求1至4中任一权利要求所述的方法，所述方法还包括下述步骤：

针对降低配置指标的配置质量的配置信息，产生并输出配置信息存在的配置问题的提示信息。

6.如权利要求1至4中任一权利要求所述的方法，所述方法还包括下述步骤：

针对降低配置指标的配置质量的配置信息从配置信息集合中选取不降低配置指标的配置质量的配置信息，并将所述选取的配置信息作为用于更新所述降低配置指标的配置质量的配置信息的选项输出；

在接收到针对所述选项的更新确认信息后，根据所述更新确认信息对应的选项对所述降低配置指标的配置质量的配置信息进行维护。

7.一种用于评测会话机器人智能的设备，包括：

确定配置质量模块，配置用于根据会话机器人的配置信息确定配置指标的配置质量；

其中，所述配置信息包括：意图配置信息、表达配置信息以及服务配置信息，所述配置指标包括：表达配置信息的表达方式、意图配置信息的意图设置、表达配置信息的实体标注以及表达配置信息的服务触发；

针对四个配置指标分别设置相应的权重值，根据各配置指标的配置质量及其权重值综合衡量会话机器人智能水平；

第一质量子模块，配置用于根据会话机器人的配置信息中对应同一意图的不同表达之间的差异度确定会话机器人的表达配置信息的表达方式的配置质量；和/或

第二质量子模块，配置用于根据会话机器人的配置信息中包含有无关表达词集合中的无关表达词的表达确定会话机器人的表达配置信息的表达方式的配置质量；和/或

第三质量子模块，配置用于根据会话机器人的配置信息中的各表达长度确定会话机器人的表达配置信息的表达方式的配置质量。