[发明专利]一种基于深度学习的分词器训练方法及其装置在审
| 申请号： | 201910312228.7 | 申请日： | 2019-04-18 |
| 公开（公告）号： | CN110032619A | 公开（公告）日： | 2019-07-19 |
| 发明（设计）人： | 汪齐顺 | 申请（专利权）人： | 合肥天毅网络传媒有限公司 |
| 主分类号： | G06F16/31 | 分类号： | G06F16/31;G06F16/35;G06F17/27;G06K9/62;G06N20/00 |
| 代理公司： | 上海精晟知识产权代理有限公司 31253 | 代理人： | 冯子玲 |
| 地址： | 230000 安徽省合肥市*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于深度学习的分词器训练方法及其装置，涉及数据处理领域。本发明包括如下步骤：步骤S1：利用网络爬虫技术获取大量网页文本语料；步骤S2：对获取的文本语料进行类型筛选；步骤S3：采用分词器对筛选后的不同类型的文本语料进行分词处理和分句处理得到训练集；步骤S4：删除训练集中具有歧义或错误的训练子集；步骤S5：将训练子集输入模型进行训练；步骤S6：计算每次训练迭代的损失函数，获取各类型的最优模型。本发明通过网络爬虫获取大量文本语料，并对文本语料进行类型不同筛选，根据类型对文本语料进行分词处理并作为训练集进行模型训练，再通过损失函数获取最优模型，提高了分词器的准确率和效率。 | ||
| 搜索关键词： | 语料 分词器 文本 分词处理 损失函数 训练子集 最优模型 训练集 筛选 数据处理领域 网络爬虫技术 模型训练 网络爬虫 网页文本 歧义 准确率 迭代 分句 删除 学习 | ||
【主权项】：
1.一种基于深度学习的分词器训练方法，其特征在于，包括如下步骤：步骤S1：利用网络爬虫技术获取大量网页文本语料；步骤S2：对获取的文本语料进行类型筛选；步骤S3：采用分词器对筛选后的不同类型的文本语料进行分词处理和分句处理得到训练集；步骤S4：删除训练集中具有歧义或错误的训练子集；步骤S5：将训练子集输入模型进行训练；步骤S6：计算每次训练迭代的损失函数，获取各类型的最优模型。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于合肥天毅网络传媒有限公司，未经合肥天毅网络传媒有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910312228.7/，转载请声明来源钻瓜专利网。
