[发明专利]一种专有领域语料模型构建方法、计算机设备及存储介质有效
| 申请号： | 202011589591.2 | 申请日： | 2020-12-29 |
| 公开（公告）号： | CN112612892B | 公开（公告）日： | 2022-11-01 |
| 发明（设计）人： | 顾嘉晟;岳小龙;高翔;纪达麒;陈运文 | 申请（专利权）人： | 达而观数据（成都）有限公司 |
| 主分类号： | G06F16/35 | 分类号： | G06F16/35;G06F40/216;G06F40/289;G06F40/205 |
| 代理公司： | 成都九鼎天元知识产权代理有限公司 51214 | 代理人： | 徐静 |
| 地址： | 610015 四川省成都市*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种专有领域语料模型构建方法、计算机设备及存储介质，该方法包括以下步骤：步骤一、语料收集及预处理：通过数据清洗获取充足的纯净无监督语料；步骤二、词频及逆文本频率指数分析：通过TF‑IDF统计方法识别出纯净无监督语料中的重要程度较高的词语；步骤三、数据增强：对步骤二中提取出的高频词所在的句子进行增强；步骤四、语言模型训练：通过XLNet模型对步骤三中增强后的纯净无监督语料进行建模以生成专有领域语料模型。本发明通过数据增强后的专有语料所生成的专有领域语料模型则可以较为明显地提升分类任务准确率、召回率及F1值。本发明可以使得语言模型预训练的过程大幅缩短，同时大大降低预训练过程中的资源消耗。 | ||
| 搜索关键词： | 一种 专有 领域 语料 模型 构建 方法 计算机 设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于达而观数据（成都）有限公司，未经达而观数据（成都）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011589591.2/，转载请声明来源钻瓜专利网。
- 上一篇：文本内容处理方法和电子设备
- 下一篇：一种生态环保用河道富营养水藻收集装置
