[发明专利]基于强化学习的文本去噪方法及装置有效
申请号: | 201910400091.0 | 申请日: | 2019-05-14 |
公开(公告)号: | CN110196909B | 公开(公告)日: | 2022-05-31 |
发明(设计)人: | 张原;胡一川;张海雷;汪冠春 | 申请(专利权)人: | 北京来也网络科技有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06F40/289 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 杜月 |
地址: | 100190 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 强化 学习 文本 方法 装置 | ||
1.一种基于强化学习的文本去噪方法,其特征在于,包括:
通过文本特征训练第一预设网络模型;
输入待处理文本至所述第一预设网络模型,并判断所述待处理文本中的噪声词语;以及
将去噪结果输入第二预设分类模型,得到文本分类结果;
其中,所述第二预设分类模型作为分类器,对去噪结果进行分类,所述分类器是与不同使用场景相对应的;
通过文本特征训练第一预设网络模型包括:
将作为训练集的待分类文本输入强化学习特征提取网络,得到文本特征;
通过将所述文本特征作为策略网络的输入,以使所述策略网络获取得到待分类文本中的全集信息;
通过文本特征训练得到所述策略网络;
将待分类的请求输入预设神经网络模型中,提取出所述文本中的词向量特征;
将所述词向量特征作为基于强化学习的策略网络模型的输入,并输出对所述词向量特征的执行动作;
输出对所述词 向量特征的执行动作之后,还包括:
将满足预设执行动作结果的词保留,并重新加入到所述基于强化学习的策略网络模型中,得到去噪后的待分类的请求特征;
将所述去噪后的待分类的请求特征作为预设分类模型的输入,输出分类结果。
2.根据权利要求1所述的文本去噪方法,其特征在于,将去噪结果输入第二预设分类模型,得到文本分类结果之后,还包括:
判断对文本分类结果是否正确;
如果判断对文本分类结果正确,则在基于强化学习的第一预设网络模型的反馈累计增加;
如果判断对文本分类结果不正确,则在基于强化学习的第一预设网络模型的反馈累计减少。
3.一种基于强化学习的文本去噪装置,其特征在于,包括:
训练模块,用于通过文本特征训练基于强化学习的第一预设网络模型;
去噪模块,用于输入待处理文本至预设网络模型,并判断所述待处理文本中的噪声词语;
分类模块,用于将去噪结果输入第二预设分类模型,得到文本分类结果;
其中,分类模块,包括:
所述第二预设分类模型作为分类器,对去噪结果进行分类,所述分类器是与不同使用场景相对应的;
训练模块:用于通过文本特征训练基于强化学习的预设网络模型,包括:
文本特征单元,用于将作为训练集的待分类文本输入强化学习特征提取网络,得到文本特征;
策略单元,用于通过将所述文本特征作为策略网络的输入,以使所述策略网络获取得到待分类文本中的全集信息;
训练单元,用于通过文本特征训练得到所述策略网络;
特征提取单元,用于将待分类的请求输入预设神经网络模型中,提取出所述文本中的词向量特征;
动作输出单元,用于将所述词向量特征作为基于强化学习的策略网络模型的输入,并输出对所述词向量特征的执行动作;
处理模块,用于将满足预设执行动作结果的词保留,并重新加入到所述基于强化学习的策略网络模型中,得到去噪后的待分类的请求特征;将所述去噪后的待分类的请求特征作为预设分类模型的输入,输出分类结果。
4.根据权利要求3所述的文本去噪装置,其特征在于,还包括:反馈模块,所述反馈模块包括:
判断单元,用于判断对文本分类结果是否正确;
增加单元,用于在判断对文本分类结果正确,则在基于强化学习的第一预设网络模型的反馈累计增加;
减少单元,用于在判断对文本分类结果不正确,则在基于强化学习的第一预设网络模型的反馈累计减少。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京来也网络科技有限公司,未经北京来也网络科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910400091.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据分类方法、装置、计算机装置及存储介质
- 下一篇:一种语料分类的方法及装置