[发明专利]确定意图识别准确度的方法、装置及计算机设备

权利要求书

1.一种确定意图识别准确度的方法，其特征在于，包括：

获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；

针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；

依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。

2.根据权利要求1所述的确定意图识别准确度的方法，其特征在于，所述依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度，包括：

针对每条语料，确定该语料的实际概率分布与预测概率分布之间的差异程度；

依据各条语料各自的实际分布概率与预测概率分布之间的差异程度，确定所述语音意图识别系统识别意图的准确度。

3.根据权利要求2所述的确定意图识别准确度的方法，其特征在于，所述确定该语料的实际概率分布与预测概率分布之间的差异程度，包括：

确定该语料的实际概率分布与预测概率分布之间的交叉熵。

4.根据权利要求3所述的确定意图识别准确度的方法，其特征在于，依据各条语料各自的实际分布概率与预测概率分布之间的差异程度，确定所述语音意图识别系统识别意图的准确度，包括：

依据各条语料对应的交叉熵，计算该至少一条测试数据中所有语料对应的交叉熵的平均值；

对该平均值进行归一化，得到用于评判所述语音意图识别系统识别用户意图的准确度的取值。

5.根据权利要求2所述的确定意图识别准确度的方法，其特征在于，所述确定该语料的实际概率分布与预测概率分布之间的差异程度，包括以下任意一种或者两种：

确定该语料的实际概率分布与预测概率分布之间的归一化折损累积增益NDCG；

确定该语料的实际概率分布与预测概率分布之间的JS散度。

6.根据权利要求1所述的确定意图识别准确度的方法，其特征在于，所述至少一条测试数据为依据多条用户意图反馈数据得到，所述用户意图反馈数据包括语料以及用户反馈的该语料的真实意图；

所述测试数据中语料对应的多种意图的实际概率分布为：依据多个不同用户对该语料反馈的真实意图，统计出的多种意图分别属于该语料对应的真实意图的实际概率。

7.根据权利要求6所述的确定意图识别准确度的方法，其特征在于，所述测试数据通过如下方式得到：

监控语音意图识别系统对采集到的用户语音的处理；

在语音意图识别系统确定所述用户语音对应多种意图的情况下，将所述用户语音对应的多种意图反馈给采集所述用户语音的采集终端，以提示用户从所述用户语音对应的多个意图中选择出真实意图；

获取用户针对所述用户语音反馈的真实意图；

将所述用户语音转换出的语料与所述用户语音对应的真实意图存储为语料数据；

获取统计到的多个语料数据，并依据不同语料数据中的语料以及真实意图，分别统计每种语料对应的多种意图的实际概率分布，得到至少一份测试数据。

8.根据权利要求6所述的确定意图识别准确度的方法，其特征在于，所述测试数据通过如下方式得到：

获取多种不同语料对应的多份语料问卷的用户反馈结果，所述语料问卷包括待识别出的语料以及该语料所对应的多种意图，所述用户反馈结果包括用户从所述语料问卷中的多种意图中选择出的真实意图；

针对每种语料的语料问卷的多份用户反馈结果，依据该语料对应的多份用户反馈结果中的真实意图，统计该语料对应的多种意图分别属于该语料的真实意图的实际概率分布，得到包含该语料以及该语料对应的多种意图的实际概率分布的测试数据。