[发明专利]错误样本的修复语料生成方法和装置有效
申请号: | 201610222052.2 | 申请日: | 2016-04-11 |
公开(公告)号: | CN107291775B | 公开(公告)日: | 2020-07-31 |
发明(设计)人: | 陶玮 | 申请(专利权)人: | 北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06N5/02 |
代理公司: | 北京英赛嘉华知识产权代理有限责任公司 11204 | 代理人: | 王达佐;马晓亚 |
地址: | 100080 北京市海淀区杏石口路6*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 错误 样本 修复 语料 生成 方法 装置 | ||
1.一种错误样本的修复语料生成方法,其特征在于,所述方法包括:
对错误样本的输入文本进行分词,得到词语集合,其中,所述错误样本包括:输入文本信息,所述错误样本是指不符合用户心理预期的产品输出结果;
基于所述词语集合以及预先训练的所述错误样本所属的逻辑回归模型,通过逻辑回归算法,获得所述词语集合中的每一个词语对应的第一分类和概率值,以及所述词语集合中的词语对应的平均概率值,其中,所述逻辑回归模型为对所述错误样本进行分类的逻辑回归模型;
在所述词语集合中按照对应的概率值与所述平均概率值的差距由小到大的顺序选取预定数量个词语作为第一词语;
将所述输入文本与各个第一词语进行拼接,生成所述错误样本的修复语料。
2.根据权利要求1所述的方法,其特征在于,所述基于所述词语集合以及预先训练的所述错误样本所属的逻辑回归模型,通过逻辑回归算法,获得所述词语集合中的每一个词语对应的第一分类和概率值,以及所述词语集合中的词语对应的平均概率值,包括:
从所述逻辑回归模型中获取所述词语集合中各个词语对应的空间向量的位置和权重值;
根据所述各个词语对应的空间向量的位置和权重值生成各个词语对应的特征向量;
基于所述特征向量和所述逻辑回归模型,通过逻辑回归算法,获得所述词语集合中的每一个词语对应的第一分类和概率值。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对每一个第一词语,通过预先训练的N元语言模型,获取所述第一词语对应的第二词语,其中,所述第二词语为所述逻辑回归模型和所述第一词语对应的第一分类对应的训练语料集合中作为所述第一词语的前一个词语的概率最大的词语;
将所述输入文本与各个第一词语对应的第二词语进行拼接,作为所述错误样本的修复语料。
4.根据权利要求1-3任一所述的方法,其特征在于,所述错误样本还包括第二分类信息;以及
在基于所述词语集合以及预先训练的所述错误样本所属的逻辑回归模型,通过逻辑回归算法,获得所述词语集合中的每一个词语对应的第一分类和概率值之前,所述方法还包括:
根据所述错误样本的第二分类信息,从预先训练的至少一个逻辑回归模型中获取与所述错误样本的第二分类信息对应的逻辑回归模型作为候选逻辑回归模型,其中,所述至少一个逻辑回归模型中的各个逻辑回归模型分别对应一个第二分类;
通过所述候选逻辑回归模型对所述错误样本的输入文本进行分词,得到至少一个词语;
从所述候选逻辑回归模型中获取所述至少一个词语中各个词语对应的空间向量的位置和权重值;
基于各个词语对应的空间向量的位置和权重值,和所述候选逻辑回归模型,通过逻辑回归算法,获得所述输入文本对应的第一分类和概率值;
如果所述概率值大于预定的概率阈值,则将所述候选逻辑回归模型作为所述错误样本所属的逻辑回归模型。
5.根据权利要求4所述的方法,其特征在于,所述如果所述概率值大于预定的概率阈值,则将所述候选逻辑回归模型作为所述错误样本所属的逻辑回归模型,包括:
如果所述概率值大于预定的概率阈值,则基于预存的各个第二分类对应的关键词集合,提取所述至少一个词语中的关键词;
如果所述至少一个词语中的关键词对应的第二分类与所述候选逻辑回归模型对应的第二分类相同,则将所述候选逻辑回归模型作为所述错误样本所属的逻辑回归模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司,未经北京京东尚科信息技术有限公司;北京京东世纪贸易有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610222052.2/1.html,转载请声明来源钻瓜专利网。
- 上一篇:错误样本识别方法和装置
- 下一篇:流式数据处理方法和装置