[发明专利]获取文本提取模型的方法及装置有效
申请号: | 201710107787.5 | 申请日: | 2017-02-27 |
公开(公告)号: | CN106909656B | 公开(公告)日: | 2019-03-08 |
发明(设计)人: | 陈益 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F17/27 |
代理公司: | 北京三高永信知识产权代理有限责任公司 11138 | 代理人: | 朱雅男 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 获取 文本 提取 模型 方法 装置 | ||
1.一种获取文本提取模型的方法,其特征在于,所述方法包括:
获取第一文本提取模型,所述第一文本提取模型根据人工标注的第一训练文本集合得到,所述第一训练文本集合包括多个训练语料和人工对所述多个训练语料标注的正确文本,一个训练语料和从中标注出的一个或多个正确文本构成一对训练文本;
如果所述第一文本提取模型的提取准确度低于预设阈值,获取多个第一训练语料;
对于所述多个第一训练语料中的每个第一训练语料,通过所述第一文本提取模型从所述第一训练语料中提取出第一文本;
如果所述第一文本正确,将所述第一训练语料和所述第一文本作为第二训练文本集合中的一对训练文本;如果所述第一文本错误,将所述第一训练语料和人工修正的文本作为所述第二训练文本集合中的一对训练文本;
根据所述第一训练文本集合和所述第二训练文本集合,获取第二文本提取模型。
2.根据权利要求1所述的方法,所述如果所述第一文本提取模型的提取准确度低于预设阈值,获取多个第一训练语料包括:
如果所述第一文本提取模型的提取准确度低于所述预设阈值,从聊天数据库中获取预设时段内的对话语料,将所述预设时段内的对话预料作为所述多个第一训练语料,所述聊天数据库用于存储用户与聊天机器人之间的对话语料。
3.根据权利要求1所述的方法,所述如果所述第一文本提取模型的提取准确度低于预设阈值,获取多个第一训练语料包括:
如果所述第一文本提取模型的提取准确度低于所述预设阈值,从聊天数据库中筛选出对话成功的对话语料,将所述对话成功的对话预料作为所述多个第一训练语料,所述聊天数据库用于存储用户与聊天机器人之间的对话语料,所述对话成功的对话语料是指所述聊天机器人成功为所述用户提供服务的对话语料。
4.根据权利要求1所述的方法,其特征在于,所述获取多个第一训练语料之前,所述方法还包括:
获取测试文本集合,所述测试文本集合包括多个测试语料和人工从所述多个测试语料中标注出的多个正确文本;
对于所述多个测试语料中的每个测试语料,通过所述第一文本提取模型从所述测试语料中提取出第二文本;
将与任一正确文本相同的第二文本和所述多个正确文本的数量比例确定为所述第一文本提取模型的提取准确度。
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一训练文本集合和所述第二训练文本集合,获取第二文本提取模型之后,所述方法还包括:
如果当前的文本提取模型的提取准确度低于所述预设阈值,继续获取训练文本集合,并基于已获取的各个训练文本集合进行训练,直到训练得到的文本提取模型的提取准确度不低于所述预设阈值,所述训练文本集合包括多个第二训练语料和通过所述当前的文本提取模型从所述多个第二训练语料中提取的多个第二目标文本。
6.一种获取文本提取模型的装置,其特征在于,所述装置包括:
模型获取模块,用于获取第一文本提取模型,所述第一文本提取模型根据人工标注的第一训练文本集合得到,所述第一训练文本集合包括多个训练语料和人工对所述多个训练语料标注的正确文本,一个训练语料和从中标注出的一个或多个正确文本构成一对训练文本;
训练文本集合获取模块,用于如果所述第一文本提取模型的提取准确度低于预设阈值,获取多个第一训练语料;对于所述多个第一训练语料中的每个第一训练语料,通过所述第一文本提取模型从所述第一训练语料中提取出第一文本;如果所述第一文本正确,将所述第一训练语料和所述第一文本作为第二训练文本集合中的一对训练文本;如果所述第一文本错误,将所述第一训练语料和人工修正的文本作为所述第二训练文本集合中的一对训练文本;
所述模型获取模块,还用于根据所述第一训练文本集合和所述第二训练文本集合,获取第二文本提取模型。
7.根据权利要求6所述的装置,所述训练文本集合获取模块用于:
如果所述第一文本提取模型的提取准确度低于所述预设阈值,从聊天数据库中获取预设时段内的对话语料,将所述预设时段内的对话预料作为所述多个第一训练语料,所述聊天数据库用于存储用户与聊天机器人之间的对话语料。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710107787.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种后扶手弯曲度检具
- 下一篇:圆度检验夹具