[发明专利]意图识别模型的训练方法、装置、计算机设备和存储介质有效
申请号: | 202011594565.9 | 申请日: | 2020-12-29 |
公开(公告)号: | CN112612894B | 公开(公告)日: | 2022-03-18 |
发明(设计)人: | 左彬靖 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F16/332;G06F16/33;G06N3/04;G06N3/08 |
代理公司: | 深圳市明日今典知识产权代理事务所(普通合伙) 44343 | 代理人: | 王杰辉;陈秋波 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 意图 识别 模型 训练 方法 装置 计算机 设备 存储 介质 | ||
本申请涉及人工智能技术领域,提供一种意图识别模型的训练方法、装置、计算机设备和存储介质,方法包括:获取敏感文本及正常文本;基于随机马赛克处理的方式对敏感文本进行文本扩充处理;将指定敏感文本与正常文本作为训练样本,并获取与训练样本对应的上下文文本数据;将训练样本及上下文文本数据作为初始意图识别模型的输入,以意图标签作为初始意图识别模型的输出进行模型训练,得到第一意图识别模型;基于测试样本数据验证第一意图识别模型;若验证通过,将第一意图识别模型作为目标意图识别模型。本申请能缓解样本类别不平衡的问题,增加训练模型的泛化能力。本申请还可以应用于区块链领域,上述目标意图识别模型等数据可以存储于区块链上。
技术领域
本申请涉及人工智能技术领域,具体涉及一种意图识别模型的训练方法、装置、计算机设备和存储介质。
背景技术
目前智能客服系统已经应用在各个领域,包括金融领域,电商领域、通信领域等等。在客服与客户的对话过程中,客户有可能在不经意间透露包含敏感信息的内容,如何确定客户在对话过程中的语音是否具有敏感内容,成为了一个亟需解决的问题。随着深度学习的流行,基于神经网络模型的方法已经成为主流的敏感内容检测方法,即采用预训练的识别模型识别出客户在对话中输入的语音的意图,再基于意图判别出该语音中是否存在敏感内容。然而,由于客户绝大多数时间说的都是正常内容的语音,只有极少部分为带有敏感内容的语音,从而导致用于训练生成识别模型的正负样本存在类别不平衡的问题,进而使得训练生成的识别模型的泛化能力较差,且生成的模型的意图预测效果较差。
发明内容
本申请的主要目的为提供一种意图识别模型的训练方法、装置、计算机设备和存储介质,旨在解决现有的用于训练生成识别模型的正负样本存在类别不平衡的问题,进而使得训练生成的识别模型的泛化能力较差,且生成的模型的意图预测效果较差的技术问题。
本申请提出一种意图识别模型的训练方法,所述方法包括步骤:
基于历史通话录音数据获取敏感文本以及正常文本,其中,所述敏感文本为包含敏感内容的文本,所述正常文本为不包含敏感内容的文本,且所述敏感文本与所述正常文本携带有对应的意图标签;
基于随机马赛克处理的方式,按照预设规则对所述敏感文本进行文本扩充处理,得到扩充后的敏感文本,以使所述扩充后的敏感文本的第一数量与所述正常文本的第二数量之间的比值等于预设比值,其中,所述随机马赛克处理是指以预设概率对文本中的每个字使用特殊符号进行替换处理;
对所述扩充后的敏感文本中除所述敏感文本外的其他文本进行标注处理,得到对应的指定敏感文本,以使所述其他文本携带对应的意图标签;
将所述指定敏感文本与所述正常文本作为训练样本,并获取与所述训练样本对应的上下文文本数据;
将所述训练样本以及与所述训练样本对应的上下文文本数据作为预设的初始意图识别模型的输入,以与所述训练样本对应的意图标签作为所述初始意图识别模型的输出,对所述初始意图识别模型进行训练,得到训练完成的第一意图识别模型;
获取预设的测试样本数据,将所述测试样本数据输入至所述第一意图识别模型,接收所述第一意图识别模型输出的与所述测试样本数据对应的识别结果;
基于所述识别结果对所述第一意图识别模型进行验证,判断是否验证通过;
若验证通过,将所述第一意图识别模型作为目标意图识别模型,以通过所述目标意图识别模型对新输入的客户对话文本数据进行意图识别。
可选地,所述基于随机马赛克处理的方式,按照预设规则对所述敏感文本进行文本扩充处理,得到扩充后的敏感文本,以使所述扩充后的敏感文本的第一数量与所述正常文本的第二数量之间的比值等于预设比值的步骤,包括:
获取所述敏感文本的第三数量;
计算所述第三数量与所述第一数量的差值,得到第四数量;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011594565.9/2.html,转载请声明来源钻瓜专利网。