[发明专利]文本分类模型的训练方法及相关设备在审
申请号: | 202010514986.X | 申请日: | 2020-06-08 |
公开(公告)号: | CN111666500A | 公开(公告)日: | 2020-09-15 |
发明(设计)人: | 张冠华;白冰;白琨 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/9536 | 分类号: | G06F16/9536;G06F16/35;G06F16/903;G06F40/289;G06N3/04;G06N3/08 |
代理公司: | 深圳市隆天联鼎知识产权代理有限公司 44232 | 代理人: | 叶虹 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 模型 训练 方法 相关 设备 | ||
1.一种文本分类模型的训练方法,其特征在于,包括:
获取训练文本及其类别标签信息和群体标签信息;
通过第一神经网络模型对所述训练文本进行处理,并根据所述训练文本的类别标签信息获得所述第一神经网络模型的初始网络参数;
通过第二神经网络模型和包括所述初始网络参数的所述第一神经网络模型对所述训练文本进行处理,获得所述训练文本的第一预测群体信息;
根据所述训练文本的群体标签信息及其第一预测群体信息对抗训练所述第一神经网络模型和所述第二神经网络模型,以使得所述第二神经网络模型识别出所述训练文本中的目标群体信息,并利用所述第一神经网络模型去除所述目标群体信息,确定所述第一神经网络模型的目标网络参数,将包括所述目标网络参数的第一神经网络模型确定为所述文本分类模型。
2.根据权利要求1所述的方法,其特征在于,通过第二神经网络模型和包括所述初始网络参数的所述第一神经网络模型对所述训练文本进行处理,获得所述训练文本的第一预测群体信息,包括:
通过包括所述初始网络参数的第一神经网络模型对所述训练文本进行处理,获得所述训练文本的第一特征编码向量;
通过第二神经网络模型对所述训练文本的第一特征编码向量进行处理,获得所述训练文本的第一预测群体信息。
3.根据权利要求2所述的方法,其特征在于,根据所述训练文本的群体标签信息及其第一预测群体信息训练所述第二神经网络模型,包括:
根据所述训练文本的群体标签信息及其第一预测群体信息获得第一损失函数;
根据所述第一损失函数训练所述第二神经网络模型,获得所述第二神经网络模型的目标网络参数。
4.根据权利要求3所述的方法,其特征在于,根据所述训练文本的群体标签信息训练所述第一神经网络模型,还包括:
利用所述第一神经网络模型对所述训练文本进行处理,获得所述训练文本的第二特征编码向量;
通过包括所述目标网络参数的第二神经网络模型对所述训练文本的第二特征编码向量进行处理,获得所述训练文本的第二预测群体信息;
根据所述训练文本的群体标签信息及其第二预测群体信息获得第二损失函数,所述第一损失函数和所述第二损失函数互逆;
根据所述第二损失函数训练所述第一神经网络模型,调整所述初始网络参数,获得所述第一神经网络模型的目标网络参数。
5.根据权利要求1所述的方法,其特征在于,通过第一神经网络模型对所述训练文本进行处理,并根据所述训练文本的类别标签信息获得所述第一神经网络模型的初始网络参数,包括:
通过所述第一神经网络模型对所述训练文本进行处理,获得所述训练文本的预测标签信息;
根据所述训练文本的类别标签信息及其预测标签信息获得第三损失函数;
根据所述第三损失函数训练所述第一神经网络模型,获得所述第一神经网络模型的初始网络参数。
6.根据权利要求1所述的方法,其特征在于,在通过第一神经网络模型对所述训练文本进行处理之前,还包括:
通过所述第一神经网络模型和所述第二神经网络模型对所述训练文本进行处理,获得所述训练文本的第三预测群体信息;
根据所述训练文本的群体标签信息及其第三预测群体信息获得第四损失函数;
根据所述第四损失函数训练所述第二神经网络模型,获得所述第二神经网络模型的初始网络参数;
其中,通过第二神经网络模型和包括所述初始网络参数的所述第一神经网络模型对所述训练文本进行处理,包括:
通过包括所述初始网络参数的所述第二神经网络模型和包括所述初始网络参数的所述第一神经网络模型对所述训练文本进行处理。
7.根据权利要求1所述的方法,其特征在于,还包括:
获取待分类文本,其中,所述待分类文本中包含目标群体信息;
将所述待分类文本输入到所述文本分类模型中,获得所述待分类文本的预测类别信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010514986.X/1.html,转载请声明来源钻瓜专利网。