[发明专利]一种问句模板的质量评估方法、装置及存储介质

说明书

本发明实施例公开了一种问句模板的质量评估方法、装置及存储介质，应用于信息处理技术领域。质量评估装置根据问句权重信息、匹配权重信息和匹配信息进行问句模板库的质量评估时，可以考虑到用户问句自身，用户问句与已有问句模板库之间的匹配信息，及用户问句与新的问句模板之间的匹配信息，这些多种因素对重新形成的问句模板库的质量评估的影响，使得最终评估的质量能尽量接近问句模板库的实际质量；且通过最终评估的质量来确定一个新的问句模板是否能加入到已有的问句模板库中，可以使得质量较高的新问句模板加入到已有的问句模板库中，适当地控制了问句模板库的增长。

技术领域

本发明涉及信息处理技术领域，特别涉及一种问句模板的质量评估方法、装置及存储介质。

背景技术

问句模板的匹配作为自然语言理解系统中一种非常简单有效的方法，常被用于意图识别、实体抽取等场景中，且在不同领域，问句模板也是不同的，比如在音乐领域，问句模板可以包括“给我播放[singer]的[song]”和“听一下[song]”等；在电话领域，问句模板可以包括“联系[contact]”和“拨打[phone_number]”等，其中，[singer]、[song]、[contact]和[phone_number]分别对应需要匹配的歌手、歌曲、联系人和电话号码实体。

一种具体的应用场景中，智能终端采集用户语音，并识别用户语音得到识别文本，然后将识别文本与预置的问句模板进行匹配得到用户意图，然后根据用户意图进行用户反馈，比如，智能终端得到的用户意图为需要播放某歌手的某一首歌曲，则智能终端会搜索到该首歌曲的信息，并进行播放。

由于问句模板不需要任何训练语料进行训练，问句模板的匹配技术非常适用于冷启动新领域服务。为了使得问句模板尽可能覆盖常见的用户问句，通常需要尽可能地丰富问句模板的类型，如果问句模板的质量较差时，会影响智能终端的服务效果。

现有技术中，在对某一问句模板库(包括多个问句模板)的质量进行评估时，会先将问句模板库中的每个问句模板与用户问句库中的用户问句依次进行匹配，然后统计问句模板与用户问句匹配正确个数和匹配错误个数，最后通过匹配正确个数与匹配错误个数的差值来估计一个问句模板库的质量。这样，通过用户问句与问句模板库中问句模板之间的匹配信息来估计一个问句模板库的质量，比较简单，不能很实际地评估一个问句模板库的质量。

发明内容

本发明实施例提供一种问句模板的质量评估方法、装置及存储介质，实现了根据用户问句的问句权重信息、与问句模板库的匹配权重信息及与新的问句模板的匹配信息进行质量评估。

本发明实施例第一方面提供一种问句模板的质量评估方法，包括：

获取用户问句的属性信息，根据所述属性信息确定所述用户问句的问句权重信息；

确定所述用户问句对问句模板库的匹配权重信息，所述匹配权重信息用于指示所述用户问句与问句模板库中各个问句模板之间相匹配的信息；

将所述用户问句与新的问句模板进行匹配，得到所述用户问句与新的问句模板的匹配信息；

根据所述问句权重信息、匹配权重信息和匹配信息，确定质量评估分值，以对所述新的问句模板加入问句模板库后形成的问句模板库进行质量评估。

本发明实施例第二方面提供一种质量评估装置，包括：

问句权重单元，用于获取用户问句的属性信息，根据所述属性信息确定所述用户问句的问句权重信息；

匹配权重单元，用于确定所述用户问句对问句模板库的匹配权重信息，所述匹配权重信息用于指示所述用户问句与问句模板库中各个问句模板之间相匹配的信息；

匹配信息单元，用于将所述用户问句与新的问句模板进行匹配，得到所述用户问句与新的问句模板的匹配信息；