[发明专利]交互系统评价方法、评价系统、服务器及计算机可读介质

说明书

本公开提供了一种交互系统评价方法，包括：获取交互系统的交互日志，所述交互日志中记载有多个交互输入和所述交互系统根据所述交互输入识别出的第一意图；针对至少部分交互输入中的每一个，根据该交互输入和与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的第二意图；针对至少部分交互输入中的每一个，将其对应的第二意图与所述交互系统识别出的第一意图进行比较；根据全部比较结果生成第一评价结果。本公开还提供了评价系统、服务器及计算机可读介质。

技术领域

本公开实施例涉及语音交互技术领域，特别涉及交互系统评价方法、评价系统、服务器及计算机可读介质。

背景技术

智能语音交互是基于语音输入的新一代交互模式，用户通过对交互系统说话就可以得到相应的反馈结果。在现有技术中，通常通过人工手段来评价交互系统的交互能力。

发明内容

本公开实施例提供一种交互系统评价方法、评价系统、服务器及计算机可读介质。

第一方面，本公开实施例提供一种交互系统评价方法，该交互系统评价方法包括：

获取交互系统的交互日志，所述交互日志中记载有多个交互输入和所述交互系统根据所述交互输入识别出的第一意图；

针对至少部分交互输入中的每一个，根据该交互输入和与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的第二意图；

针对至少部分交互输入中的每一个，将其对应的第二意图与所述交互系统识别出的第一意图进行比较；

根据全部比较结果生成第一评价结果。

在一些实施例中，所述交互输入包括音频信息，所述根据该交互输入和与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的第二意图包括：

获取根据该交互输入转换出的第一文字信息，以及根据与该交互输入相邻的至少一个交互输入转换出的第二文字信息；

根据所述第一文字信息和所述第二文字信息，确定出该交互输入对应的第二意图。

在一些实施例中，所述根据该交互输入和与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的第二意图包括：

至少根据与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的话题领域；

根据该交互输入和所述话题领域对应的分析规则，分析出该交互输入对应的第二意图。

在一些实施例中，所述根据该交互输入和与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的第二意图包括：

至少根据与该交互输入相邻的至少一个交互输入，分析出该交互输入对应的语言习惯属性；

根据该交互输入和所述语言习惯属性对应的分析规则，分析出该交互输入对应的第二意图。

在一些实施例中，所述针对至少部分交互输入中的每一个，将其对应的第二意图与所述交互系统识别出的第一意图进行比较包括：

根据所述第二意图和所述第一意图，计算出所述第二意图与所述第一意图的相似度；

根据所述相似度生成比较结果。

在一些实施例中，所述交互输入包括音频信息，所述交互日志中还记载有交互系统根据交互输入转换出的文字信息，所述方法还包括：

针对至少部分交互输入中的每一个，验证交互系统转换出的文字信息是否存在错误，并在验证出交互系统转换出的文字信息存在错误时，根据预设的错误分析模型分析出所述错误对应的错误类别；

根据预先设置的错误类别和评价值的对应关系，查找出错误类别对应的评价值；