[发明专利]文本分类模型训练方法、装置、计算机设备及存储介质在审
申请号: | 202010966556.1 | 申请日: | 2020-09-15 |
公开(公告)号: | CN112100378A | 公开(公告)日: | 2020-12-18 |
发明(设计)人: | 黄海龙;刘广;高维国 | 申请(专利权)人: | 中国平安人寿保险股份有限公司 |
主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62;G06F40/289;G06N3/04;G06N3/08 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 蒋学超 |
地址: | 518000 广东省深圳市福田区益田路5033号*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 模型 训练 方法 装置 计算机 设备 存储 介质 | ||
1.一种文本分类模型训练方法,其特征在于,包括:
获取预存的初始样本集作为目标样本集,所述初始样本集包括样本文本以及所述样本文本的标签;
根据预训练的BERT模型获取所述目标样本集的拓展样本集,所述拓展样本集中的样本文本是所述BERT模型对所述初始样本集中的样本文本进行预测后得到的;
将所述目标样本集与所述拓展样本集合并得到总样本集,并根据所述总样本集对预设的文本分类模型进行训练。
2.根据权利要求1所述的文本分类模型训练方法,其特征在于,所述根据所述总样本集对预设的文本分类模型进行训练之前,所述方法还包括:
判断所述总样本集包含的样本数量是否大于预设的数量阈值;
若所述总样本集包含的样本数量未大于预设的数量阈值,将所述总样本集作为新的目标样本集,并返回所述根据预训练的BERT模型获取所述目标样本集的拓展样本集的步骤;
若所述总样本集包含的样本数量大于预设的数量阈值,转到所述根据所述总样本集对预设的文本分类模型进行训练的步骤。
3.根据权利要求1所述的文本分类模型训练方法,其特征在于,所述根据预训练的BERT模型获取所述目标样本集的拓展样本集,包括:
从所述目标样本集中获取一样本文本作为第一目标样本文本;
将所述第一目标样本文本以及所述第一目标样本文本的标签输入到所述BERT模型中;
接收所述BERT模型输出的预测文本,并将所述预测文本作为所述拓展样本集的样本文本存入到所述拓展样本集中,所述预测文本的标签与所述第一目标样本文本的标签相同;
将所述第一目标样本文本从所述目标样本集中移除,并判断所述目标样本集中是否存在样本文本;
若所述目标样本集中存在样本文本,返回所述从所述目标样本集中获取一样本文本作为第一目标样本文本的步骤。
4.根据权利要求1所述的文本分类模型训练方法,其特征在于,所述根据所述总样本集对预设的文本分类模型进行训练,包括:
对所述总样本集进行分词处理以得到分词样本集;
对所述分词样本集进行词向量训练以得到词向量样本集;
通过所述词向量样本集对所述文本分类模型进行训练。
5.根据权利要求4所述的文本分类模型训练方法,其特征在于,所述对所述总样本集进行分词处理以得到分词样本集,包括:
通过预设的分词工具对所述总样本集中的样本文本进行分词处理以得到初始分词文本;
将所述样本文本的初始分词文本中的停止词去除以得到所述样本文本的分词文本;
将所述样本文本的分词文本存入到所述分词样本集中。
6.根据权利要求4所述的文本分类模型训练方法,其特征在于,所述对所述分词样本集进行词向量训练以得到词向量样本集,包括:
通过预设的词向量训练工具对所述分词样本集中的分词文本进行词向量训练以得到所述分词文本的词向量;
将所述分词文本的词向量存入到所述词向量样本集中。
7.根据权利要求4所述的文本分类模型训练方法,其特征在于,所述通过所述词向量样本集对所述文本分类模型进行训练,包括:
从所述词向量样本集中获取一词向量作为目标词向量;
通过所述目标词向量对所述文本分类模型进行训练;
将所述目标词向量从所述词向量样本集中删除,并判断所述词向量样本集中是否还存在词向量;
若所述词向量样本集中还存在词向量,返回所述从所述词向量样本集中获取一词向量作为目标词向量的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国平安人寿保险股份有限公司,未经中国平安人寿保险股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010966556.1/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种服务器的防护系统
- 下一篇:一种采购对象的生产进度状态展示方法及相关装置