[发明专利]基于意图识别的阈值选取方法、设备、存储介质及装置在审
申请号: | 201910751715.3 | 申请日: | 2019-08-14 |
公开(公告)号: | CN110503143A | 公开(公告)日: | 2019-11-26 |
发明(设计)人: | 方宁 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62 |
代理公司: | 44287 深圳市世纪恒程知识产权代理事务所 | 代理人: | 胡海国<国际申请>=<国际公布>=<进入 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 测试语料 错误结果 意图识别 测试意图 相似度 测试语料集 人工智能 存储介质 分布差异 计算测试 统计测试 形式计算 预设规则 阈值选取 预设 过滤 保留 | ||
1.一种基于意图识别的阈值选取方法,其特征在于,所述基于意图识别的阈值选取方法包括以下步骤:
通过预设意图识别模型对测试语料集进行意图识别,获得所述测试语料集中各测试语料的测试意图;
获取各所述测试语料的真实意图,计算所述测试意图与所述真实意图之间的相似度,获得各所述测试语料的测试意图相似度;
获取多个待选阈值,根据各待选阈值及所述测试意图相似度统计所述测试意图中各所述待选阈值对应的正确结果数量及错误结果数量;
根据所述正确结果数量及所述错误结果数量,计算各所述待选阈值对应的相对熵;
根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值。
2.如权利要求1所述的基于意图识别的阈值选取方法,其特征在于,所述根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值,包括:
对各所述待选阈值按照从大到小进行排序,计算相邻的所述待选阈值对应的所述相对熵之间的差值;
获取所述差值中的最大值,将所述最大值对应的两个相对熵作为目标相对熵,选取所述目标相对熵中较大者对应的待选阈值作为目标阈值。
3.如权利要求1所述的基于意图识别的阈值选取方法,其特征在于,所述通过预设意图识别模型对测试语料集进行意图识别,获得所述测试语料集中各测试语料的测试意图之前,所述基于意图识别的阈值选取方法还包括:
获取训练语料及对应的训练意图;
根据所述训练语料及对应的所述训练意图对神经网络模型进行训练,获得预设意图识别模型。
4.如权利要求1-3中任一项所述的基于意图识别的阈值选取方法,其特征在于,所述根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值之后,所述基于意图识别的阈值选取方法还包括:
根据所述目标阈值及所述测试意图相似度筛选所述测试意图中的错误结果,获取所述错误结果对应的测试语料作为目标语料;
获取所述目标语料对应的目标真实意图,根据所述目标语料及对应的所述目标真实意图对所述预设意图识别模型进行训练,获得修正识别模型。
5.如权利要求4所述的基于意图识别的阈值选取方法,其特征在于,所述获取所述目标语料对应的目标真实意图,根据所述目标语料及对应的所述目标真实意图对所述预设意图识别模型进行训练,获得修正识别模型之后,所述基于意图识别的阈值选取方法还包括:
进行语音检测,将检测到的语音作为待识别语音;
通过所述修正识别模型对所述待识别语音进行意图识别,获得用户意图;
根据所述用户意图进行搜索,获得目标页面。
6.如权利要求5所述的基于意图识别的阈值选取方法,其特征在于,所述根据所述用户意图进行搜索,获得目标页面,包括:
将所述用户意图进行展示;
接收用户基于展示的所述用户意图的反馈语音信息,判断所述反馈语音信息是否属于确认信息;
若所述反馈语音信息属于所述确认信息,则搜索与所述用户意图对应的目标页面。
7.如权利要求6所述的基于意图识别的阈值选取方法,其特征在于,所述接收用户基于展示的所述用户意图的反馈语音信息,判断所述反馈语音信息是否属于确认信息之后,所述基于意图识别的阈值选取方法还包括:
若所述反馈语音信息不属于所述确认信息,则通过所述修正识别模型对所述反馈语音信息进行意图识别,获得目标意图。
8.一种基于意图识别的阈值选取设备,其特征在于,所述基于意图识别的阈值选取设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于意图识别的阈值选取程序,所述基于意图识别的阈值选取程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于意图识别的阈值选取方法的步骤。
9.一种存储介质,其特征在于,所述存储介质上存储有基于意图识别的阈值选取程序,所述基于意图识别的阈值选取程序被处理器执行时实现如权利要求1至7中任一项所述的基于意图识别的阈值选取方法的步骤。
10.一种基于意图识别的阈值选取装置,其特征在于,所述基于意图识别的阈值选取装置包括:
意图识别模块,用于通过预设意图识别模型对测试语料集进行意图识别,获得所述测试语料集中各测试语料的测试意图;
计算模块,用于获取各所述测试语料的真实意图,计算所述测试意图与所述真实意图之间的相似度,获得各所述测试语料的测试意图相似度;
统计模块,用于获取多个待选阈值,根据各待选阈值及所述测试意图相似度统计所述测试意图中各所述待选阈值对应的正确结果数量及错误结果数量;
所述计算模块,还用于根据所述正确结果数量及所述错误结果数量,计算各所述待选阈值对应的相对熵;
选取模块,用于根据所述相对熵按照预设规则从各所述待选阈值中选取目标阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910751715.3/1.html,转载请声明来源钻瓜专利网。