[发明专利]确定意图识别准确度的方法、装置及计算机设备

说明书

本申请公开了一种确定意图识别准确度的方法、装置及计算机设备，该方法包括：获取用于分析意图识别准确度的至少一条测试数据，每条该测试数据包括：一条语料以及该语料对应的多种意图的实际概率分布；针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布；依据各条语料各自对应的实际概率分布以及预测概率分布，确定该语音意图识别系统识别意图的准确度。本申请可以实现确定语音意图识别系统从多种模糊意图中识别真实意图的准确程度。

技术领域

本申请涉及语音处理技术领域，尤其涉及一种确定意图识别准确度的方法、装置及计算机设备。

背景技术

随着人工智能以及语音分析技术的不断发展，具备分析用户语音所对应的用户意图的语音意图识别系统也逐渐增多。如，智能音箱系统能够对智能音箱采集的用户语音进行识别，并基于识别出的用户语音分析用户意图，从而依据用户意图为用户提供音乐播放、视频播放、信息检索以及网上购物等服务。

而由于人类自然语言的多样性和非规范性，用户输入的一句语音可能会存在模糊性，从而出现多种模糊意图的情况，即，针对该语音，有可能会被解析出多种用户意图。如，用户输入的语音为“给我找一下三国演义”，那么用户意图可能是“观看三国演义电视剧”、“播放三国演义的评书”或者“播放三国演义的主题曲”。在用户语音存在多种模糊意图的情况下，就需要语音意图识别系统从多种模糊意图中确定出真实的用户意图，并基于选取出的真实的用户意图为用户提供相应的服务。

可见，在待识别语音存在多种模糊意图的情况下，语音意图识别系统能否准确确定用户的真实意图具有非常重要的意义，因此，如何判断语音意图识别系统是否准确识别出用户语音对应的真实意图是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本申请提供了一种确定意图识别准确度的方法、装置及计算机设备，以确定出语音意图识别系统从多种模糊意图中识别真实意图的准确程度。

为实现上述目的，本申请提供了如下方案：

一方面，本申请提供了一种确定意图识别准确度的方法，包括：

获取用于分析意图识别准确度的至少一条测试数据，每条所述测试数据包括：一条语料以及所述语料对应的多种意图的实际概率分布，其中，语料对应的实际概率分布用于表征该语料对应的多种意图分别属于该语料实际对应的真实意图的概率；

针对每条测试数据中的语料，获取语音意图识别系统确定出的该语料对应的多种意图的预测概率分布，其中，语料对应的预测概率分布用于表征所述语音意图识别系统预测出的该语料对应的多种意图分别属于该语料对应的真实意图的概率；

依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度。

在一种可能的实现方式中，所述依据各条语料各自对应的实际概率分布以及预测概率分布，确定所述语音意图识别系统识别意图的准确度，包括：

针对每条语料，确定该语料的实际概率分布与预测概率分布之间的差异程度；

依据各条语料各自的实际分布概率与预测概率分布之间的差异程度，确定所述语音意图识别系统识别意图的准确度。

在又一种可能的情况中，所述至少一条测试数据为依据多条用户意图反馈数据得到，所述用户意图反馈数据包括语料以及用户反馈的该语料的真实意图；

所述测试数据中语料对应的多种意图的实际概率分布为：依据多个不同用户对该语料反馈的真实意图，统计出的多种意图分别属于该语料对应的真实意图的实际概率。

又一方面，本申请还提供了一种确定意图识别准确度的装置，包括：