[发明专利]文本分类方法及系统、电子设备、计算机可读存储介质有效
| 申请号： | 202010252774.9 | 申请日： | 2020-04-02 |
| 公开（公告）号： | CN111159414B | 公开（公告）日： | 2020-07-14 |
| 发明（设计）人： | 罗镇权;刘世林;张发展;李焕;曾途 | 申请（专利权）人： | 成都数联铭品科技有限公司 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06N3/08;G06F40/117;G06F40/284 |
| 代理公司： | 北京市领专知识产权代理有限公司 11590 | 代理人： | 林辉轮 |
| 地址： | 610015 四川省成都市自由贸易试*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文本 分类 方法 系统 电子设备 计算机 可读 存储 介质 | ||
1.一种基于BERT预训练模型的文本分类方法，其特征在于，包括以下步骤：
收集各种文本类型的关键词，并构成关键词集；
对准备的文本语料的类别进行标注，以及基于关键词集对文本语料中的关键词进行标注；
以标注后的文本语料中的关键词为对象，对标注后的文本语料进行序列标注；
将关键词表示层作为BERT预训练模型新增的输入向量层，并对每个向量初始化赋值；
将处理后的文本语料送入BERT预训练模型进行微调，关键词表示层同时训练，得到训练好的分类模型以及关键词表示层的向量矩阵；
将待分类文本输入训练好的分类模型进行推理，以及将待分类文本中的关键词通过所述向量矩阵索引输入，输出得到分类结果。
2.根据权利要求1所述的基于BERT预训练模型的文本分类方法，其特征在于，对标注后的文本语料进行序列标注时，采用BIEO标注法对文本语料进行序列标注。
3.一种基于BERT预训练模型的文本分类系统，其特征在于，包括文本分类装置和预下载的BERT预训练模型，所述文本分类装置包括：
关键词收集模块：收集各种文本类型的关键词，并构成关键词集；
人工标注模块：对准备的文本语料的类别进行标注，以及基于关键词集对文本语料中的关键词进行标注；
序列标注模块：以标注后的文本语料中的关键词为对象，对标注后的文本语料进行序列标注；
模型训练模块：将关键词表示层作为BERT预训练模型新增的输入向量层，并对每个向量初始化赋值，将处理后的文本语料送入BERT预训练模型进行微调，关键词表示层同时训练，得到训练好的分类模型以及关键词表示层的向量矩阵；
文本分类模块：将待分类文本输入训练好的分类模型进行推理，以及将待分类文本中的关键词通过所述向量矩阵索引输入，输出得到分类结果。
4.根据权利要求3所述的基于BERT预训练模型的文本分类系统，其特征在于，序列标注模块在对标注后的文本语料进行序列标注时，采用BIEO标注法对文本语料进行序列标注。
5.一种电子设备，其特征在于，所述的设备包括：
存储器，存储程序指令；
处理器，与所述存储器相连接，执行存储器中的程序指令，实现权利要求1或2所述方法中的步骤。
6.一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时使处理器执行本权利要求1或2所述文本分类方法中的操作。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都数联铭品科技有限公司，未经成都数联铭品科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010252774.9/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种医用轮椅
- 下一篇：序列标注方法及系统、事件要素抽取方法及系统
