[发明专利]文本分类处理方法和装置在审
| 申请号： | 201911360673.7 | 申请日： | 2019-12-25 |
| 公开（公告）号： | CN111209394A | 公开（公告）日： | 2020-05-29 |
| 发明（设计）人： | 张禄;及洪泉;姚晓明;胡彩娥;丁屹峰;王培祎;马龙飞;陆斯悦;王健;徐蕙 | 申请（专利权）人： | 国网北京市电力公司;国家电网有限公司 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06N20/00;G06F16/332 |
| 代理公司： | 北京康信知识产权代理有限责任公司 11240 | 代理人： | 董文倩 |
| 地址： | 100031 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 文本 分类 处理 方法 装置 | ||
1.一种文本分类处理方法，其特征在于，包括：
获取待分类的文本；
将所述待分类的文本输入到模型当中，其中，所述模型为使用训练数据通过机器学习训练所得到的；
将从所述模型中获取的输出作为所述待分类的文本对应的类别；
保存所述待分类的文本和其对应的类别。
2.根据权利要求1所述的方法，其特征在于，在获取所述待分类的文本之前，所述方法还包括：
使用多组训练数据通过机器学习进行训练得到所述模型。
3.根据权利要求2所述的方法，其特征在于，通过机器学习进行训练得到所述模型包括：
使用第一语料集进行预训练得到第一模型；
使用第二语料集对所述第一模型进行迭代训练得到所述模型，其中，所述第二语料集包括多组数据，每一组数据均包括文本以及该文本所对应的类别。
4.根据权利要求3所述的方法，其特征在于，使用所述第一语料集进行预训练得到第一模型包括：
通过BERT使用所述第一语料集进行训练得到所述第一模型，其中，在所述训练中掩盖语料集中的每一条语料的部分内容，所述训练用于预测所掩盖的内容。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述文本包括工单文本，所述类别包括：工单的类型，其中，所述类型包括至少一类。
6.一种文本分类处理装置，其特征在于，包括：
获取模块，用于获取待分类的文本；
输入模块，用于将所述待分类的文本输入到模型当中，其中，所述模型为使用训练数据通过机器学习训练所得到的；
输出模块，用于将从所述模型中获取的输出作为所述待分类的文本对应的类别；
保存模块，用于保存所述待分类的文本和其对应的类别。
7.根据权利要求6所述的装置，其特征在于，还包括：
训练模块，用于使用多组训练数据通过机器学习进行训练得到所述模型。
8.根据权利要求7所述的装置，其特征在于，所述训练模块包括：
第一训练单元，用于使用第一语料集进行预训练得到第一模型；
第二训练单元，用于使用第二语料集对所述第一模型进行迭代训练得到所述模型，其中，所述第二语料集包括多组数据，每一组数据均包括文本以及该文本所对应的类别。
9.根据权利要求8所述的装置，其特征在于，所述第一训练单元用于：
通过BERT使用所述第一语料集进行训练得到所述第一模型，其中，在所述训练中掩盖语料集中的每一条语料的部分内容，所述训练用于预测所掩盖的内容。
10.根据权利要求6至9中任一项所述的装置，其特征在于，所述文本包括工单文本，所述类别包括：工单的类型，其中，所述类型包括至少一类。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国网北京市电力公司;国家电网有限公司，未经国网北京市电力公司;国家电网有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201911360673.7/1.html，转载请声明来源钻瓜专利网。
- 上一篇：一种基于分层处理的无人机图像语义分割识别方法
- 下一篇：数据库访问方法及装置
