[发明专利]扩充训练样本的方法和装置有效
申请号: | 201910923491.X | 申请日: | 2019-09-27 |
公开(公告)号: | CN110704590B | 公开(公告)日: | 2022-04-12 |
发明(设计)人: | 王雅芳;龙翀;张晓彤;张杰 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/35 |
代理公司: | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人: | 孙欣欣;周良玉 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 扩充 训练 样本 方法 装置 | ||
1.一种扩充训练样本的方法,所述方法包括:
获取待扩充的初始训练样本组,所述初始训练样本组包括第一数量的训练样本,所述训练样本包括历史对话组中的原始机器语句和原始用户语句,以及该对话组对应的类别标签,所述初始训练样本组中的各训练样本具有第一类别标签;
根据待扩充的目标数量,从所述初始训练样本组中获取第二数量的训练样本;
针对第二数量的训练样本中的各对话组,将与各对话组中的原始机器语句相关的第一机器语句输入预先训练的所述第一类别标签的对话生成模型,通过所述对话生成模型生成与各对话组中的第一机器语句分别对应的第一用户语句;所述第一机器语句为一个原始机器语句,或者多个原始机器语句拼接得到;
将所述各对话组中的第一机器语句和对应的第一用户语句作为扩充训练样本加入所述初始训练样本组,得到扩充训练样本组,所述扩充训练样本具有所述第一类别标签。
2.如权利要求1所述的方法,其中,所述方法还包括:
利用所述扩充训练样本组中的各训练样本对分类模型进行训练。
3.如权利要求1所述的方法,其中,所述对话组包括多轮对话;
所述将与各对话组中的原始机器语句相关的第一机器语句输入预先训练的所述第一类别标签的对话生成模型,包括:
将与各对话组中的各轮对话的原始机器语句相关的第一机器语句输入预先训练的所述第一类别标签的对话生成模型。
4.如权利要求3所述的方法,其中,所述第一机器语句为各轮对话中的原始机器语句拼接后得到的,所述对话生成模型根据所述第一机器语句,生成所述第一机器语句对应的第一用户语句。
5.如权利要求3所述的方法,其中,所述第一机器语句为各轮对话中的原始机器语句,所述对话生成模型根据各轮对话中的各原始机器语句,分别生成各原始机器语句对应的各第一用户语句。
6.如权利要求2所述的方法,其中,所述对话组包括多轮对话;
所述利用所述扩充训练样本组中的各训练样本对分类模型进行训练,包括:
将所述扩充训练样本组中的各训练样本中各轮对话的用户语句输入待训练的分类模型,根据所述分类模型的输出结果和类别标签,对所述分类模型进行训练。
7.如权利要求1所述的方法,其中,所述类别标签包括:标准问句和/或人工客服技能组。
8.如权利要求1所述的方法,其中,所述获取待扩充的初始训练样本组,包括:
根据类别标签,确定多个初始训练样本组,每个初始训练样本组中的训练样本具有相同的类别标签;
确定各初始训练样本组包括的训练样本的最大数量;
将训练样本的数量小于所述最大数量的初始训练样本组作为待扩充的初始训练样本组。
9.如权利要求8所述的方法,其中,所述目标数量为所述最大数量,所述第二数量为所述最大数量与所述第一数量的差值;所述根据待扩充的目标数量,从所述初始训练样本组中获取第二数量的训练样本,包括:
当所述差值小于所述最大数量的一半时,从所述初始训练样本组中随机抽取所述第二数量的训练样本。
10.如权利要求8所述的方法,其中,所述目标数量为所述最大数量,所述第二数量为所述最大数量与所述第一数量的差值;所述根据待扩充的目标数量,从所述初始训练样本组中获取第二数量的训练样本,包括:
当所述差值大于所述最大数量的一半时,从所述初始训练样本组中重复获取训练样本直到得到所述第二数量的训练样本。
11.如权利要求1所述的方法,其中,所述对话生成模型包括:
序列生成S2S模型、变分自编码器VAE模型或生成对抗网络GAN模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910923491.X/1.html,转载请声明来源钻瓜专利网。